[論文レビュー] A Reference Architecture for Designing Foundation Model based Systems

Qinghua Lu, Liming Zhu+3 more|arXiv (Cornell University)|Apr 13, 2023

Scientific Computing and Data ManagementDecision Sciences被引用数 3

ひとこと要約

本論文は、アーキテクチャの進化、責任の所在、信頼性といった課題に対処するため、責任ある基盤モデル（FM）に基づくシステムを設計するためのパターン指向の参考アーキテクチャを提案する。システム、運用、サプライチェーンの各レイヤーにまたがる7つの主要な設計パターンを導入することで、柔軟性、変更可能性、責任あるAIの実践を可能にする。本手法は、GPT-4とリtrieval-augmented generation（RAG）を用いた実世界のRAIチャットボットシステムへのマッピングを通じて検証された。

ABSTRACT

The release of ChatGPT, Gemini, and other large language model has drawn huge interests on foundations models. There is a broad consensus that foundations models will be the fundamental building blocks for future AI systems. However, there is a lack of systematic guidance on the architecture design. Particularly, the the rapidly growing capabilities of foundations models can eventually absorb other components of AI systems, posing challenges of moving boundary and interface evolution in architecture design. Furthermore, incorporating foundations models into AI systems raises significant concerns about responsible and safe AI due to their opaque nature and rapidly advancing intelligence. To address these challenges, the paper first presents an architecture evolution of AI systems in the era of foundation models, transitioning from "foundation-model-as-a-connector" to "foundation-model-as-a-monolithic architecture". The paper then identifies key design decisions and proposes a pattern-oriented reference architecture for designing responsible foundation-model-based systems. The patterns can enable the potential of foundation models while ensuring associated risks.

研究の動機と目的

• 急速な能力向上が進む中で、基盤モデル（FM）に基づくAIシステムに対する体系的なアーキテクチャ的ガイダンスの欠如に対処する。
• FMが外部コンponentを統合することで生じる境界の移動やインターフェースの進化といったアーキテクチャ的課題に取り組む。
• 責任あるAIを実現するため、FM統合システムにおける責任の所在、追跡可能性、信頼性を確保する。
• 将来にわたり耐久性があり、変更に柔軟なアーキテクチャを提供し、進化するFMの能力と規制適合性をサポートする。
• システム、運用、サプライチェーンの各レイヤーにわたり、責任あるAIを設計段階から組み込むパターン指向の参考アーキテクチャを開発する。

提案手法

• 3段階のアーキテクチャ進化プロセスを提案：従来のAIシステムからFMをコネクタとして使用する段階へ、最終的にはFMをモノリシックアーキテクチャとして統合する段階へ。
• 7つの主要な設計パターンを導入：ブラックボックスレコーダ、スタンダライズドレポート、バリデータ、シンクアラウド、エージェントチーム、コーバージョニングレジストリ、AIBOMレジストリ。
• シンクアラウドパターンを適用して、FMの途中の推論ステップを露呈させることで、透明性を向上させる。
• ブラックボックスレコーダを用いて、タイムスタンプと場所情報を含めた入力、出力、中間ステップを完全にログ記録し、監査可能性と責任の所在を確保する。
• バリデータパターンを活用して、人間の専門家がFMが出力する内容をレビュー・修正できるようにする。
• AIBOMレジストリとコーバージョニングレジストリを統合してサプライチェーンの制御を実現し、第三者AIコンponentとその責任あるAI（RAI）資格情報を追跡可能にする。

実験結果

リサーチクエスチョン

• RQ1 基盤モデルのアーキテクチャ的役割は、調整コネクタからモノリシックシステムへどのように進化するか？
• RQ2 柔軟性、モularity、信頼性を考慮した場合、責任あるFMベースのシステムを構築するにあたり、どのような主要な設計意思決定とトレードオフが生じるか？
• RQ3 複数のステークホルダーが関与するFMベースのシステムにおいて、責任の所在と追跡可能性を体系的かつ効果的に支援する方法は何か？
• RQ4 監査可能性、説明可能性、リスク監視といった責任あるAIの実践を統合するためのアーキテクチャパターンは何か？
• RQ5 提案された参考アーキテクチャは、実世界のFMベースのシステムへどの程度マッピング可能で、検証可能か？

主な発見

• 参考アーキテクチャは、GPT-4とRAGを用いた実世界の責任あるAI（RAI）チャットボットシステムへ成功裏にマッピングされ、実用的適用性が裏付けられた。
• システムレイヤーには基盤モデル、インタラクションコンponent、データソースが含まれるが、運用およびサプライチェーンレイヤーが実行時および調達の追跡可能性を保証する。
• ブラックボックスレコーダは、タイムスタンプと場所情報を含めた入力、出力、中間ステップの完全ログ記録を可能にし、責任の所在と監査可能性を支援する。
• バリデータパターンにより、人間の専門家がFMが出力する応答をレビュー・編集可能となり、信頼性と信頼性が向上する。
• AIBOMレジストリとコーバージョニングレジストリにより、第三者コンponentの追跡が可能となり、その責任あるAIメトリクスと検証可能な資格情報も含めて追跡可能となる。
• アーキテクチャは変更可能で柔軟性を備えており、今後のファインチューニング済みまたはソブリンFMの統合、および進化するシステム要件への対応が可能である。