[논문 리뷰] A Reference Architecture for Designing Foundation Model based Systems

Qinghua Lu, Liming Zhu외 3명|arXiv (Cornell University)|2023. 04. 13.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 책임감 있는 기초모델(FM) 기반 시스템을 설계하기 위한 패턴 중심의 참조 아키텍처를 제안하며, 아키텍처의 진화, 책임성, 신뢰성과 같은 과제를 다룹니다. 시스템, 운영, 공급망 레이어에서의 일곱 가지 핵심 설계 패턴을 도입하여 유연성, 수정 가능성, 책임감 있는 AI 실천을 가능하게 하며, GPT-4와 검색 기반 증강 생성(RAG)을 사용한 실제 RAI 챗봇 시스템에 대한 매핑을 통해 검증됩니다.

ABSTRACT

The release of ChatGPT, Gemini, and other large language model has drawn huge interests on foundations models. There is a broad consensus that foundations models will be the fundamental building blocks for future AI systems. However, there is a lack of systematic guidance on the architecture design. Particularly, the the rapidly growing capabilities of foundations models can eventually absorb other components of AI systems, posing challenges of moving boundary and interface evolution in architecture design. Furthermore, incorporating foundations models into AI systems raises significant concerns about responsible and safe AI due to their opaque nature and rapidly advancing intelligence. To address these challenges, the paper first presents an architecture evolution of AI systems in the era of foundation models, transitioning from "foundation-model-as-a-connector" to "foundation-model-as-a-monolithic architecture". The paper then identifies key design decisions and proposes a pattern-oriented reference architecture for designing responsible foundation-model-based systems. The patterns can enable the potential of foundation models while ensuring associated risks.

연구 동기 및 목표

• 기초모델(FM) 기반 AI 시스템에 대한 체계적 아키텍처 가이던스 부족 문제를 해결하기 위해.
• 외부 구성 요소를 통합함으로써 발생하는 경계 이동과 인터페이스 변화와 같은 아키텍처 과제를 해결하기 위해.
• 기초모델 통합 시스템에서 책임성, 추적 가능성, 신뢰성으로서의 책임감 있는 AI를 확보하기 위해.
• 향후 변화하는 기초모델 기능과 규제 준수를 지원하는 미래 지향적이고 적응 가능한 아키텍처를 제공하기 위해.
• 시스템, 운영, 공급망 레이어 전반에 걸쳐 책임감 있는 AI를 설계 시스템에 통합하는 패턴 중심의 참조 아키텍처를 개발하기 위해.

제안 방법

• 기존 AI 시스템에서 FM-기반 연결자로의 진화, 그리고 최종적으로 FM-기반 단일화 아키텍처로의 세 단계 아키텍처 진화를 제안합니다.
• 일곱 가지 핵심 설계 패턴을 도입: 블랙박스 레코더, 표준화된 리포터, 검증기, 생각을 말하기 패턴, 에이전트 팀, 공동버전 관리 레지스트리, AIBOM 레지스트리.
• FM의 중간 추론 단계를 폭 드러내어 투명성을 향상시키기 위해 생각을 말하기 패턴을 적용합니다.
• 입력, 출력, 중간 단계를 타임스탬프와 위치 정보와 함께 로깅하기 위해 블랙박스 레코더를 사용하여 감사 가능성과 책임성을 지원합니다.
• 인간 전문가가 FM이 생성한 출력을 검토하고 수정할 수 있도록 검증기 패턴을 활용합니다.
• AIBOM 레지스트리와 공동버전 관리 레지스트리 통합을 통해 제3자 AI 구성 요소와 그 책임감 있는 AI(RAI) 자격을 추적할 수 있는 공급망 통제를 구현합니다.

실험 결과

연구 질문

• RQ1 기초모델의 아키텍처 역할이 조율 연결자에서 단일화 시스템으로 어떻게 진화하는가?
• RQ2 적응 가능성, 모듈성, 신뢰성 측면에서 책임감 있는 FM 기반 시스템을 구축할 때의 핵심 설계 결정과 상충 관계는 무엇인가?
• RQ3 여러 이해관계자가 참여하는 FM 기반 시스템에서 책임성과 추적 가능성을 체계적으로 어떻게 지원할 수 있는가?
• RQ4 감사 가능성, 설명 가능성, 위험 모니터링과 같은 책임감 있는 AI 실천 통합을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ5 제안된 參照 아키텍처가 실제 FM 기반 시스템에 얼마나 잘 매핑되고 검증될 수 있는가?

주요 결과

• 참조 아키텍처는 GPT-4와 RAG를 사용한 실제 책임감 있는 AI(RAI) 챗봇 시스템에 성공적으로 매핑되어 실용적 적용 가능성을 입증합니다.
• 시스템 레이어는 기초모델, 상호작용 구성 요소, 데이터 소스를 포함하며, 운영 및 공급망 레이어는 런타임 및 조달 추적 가능성을 보장합니다.
• 블랙박스 레코더는 입력, 출력, 중간 단계를 타임스탬프와 위치 정보와 함께 완전히 로깅하여 책임성과 감사 가능성을 지원합니다.
• 검증기 패턴을 통해 인간 전문가가 FM이 생성한 응답을 검토하고 편집할 수 있어 신뢰성과 신뢰성 향상이 가능합니다.
• AIBOM 레지스트리와 공동버전 관리 레지스트리는 제3자 구성 요소의 추적 가능성을 가능하게 하며, 그 책임감 있는 AI 지표와 검증 가능한 자격을 포함합니다.
• 아키텍처는 수정 가능성과 적응 가능성을 지원하여 향후 파인튜닝 또는 주권 기반 기초모델, 변화하는 시스템 요구사항의 통합을 가능하게 합니다.