[論文レビュー] Complex QA and language models hybrid architectures, Survey

Xavier Daull, Patrice Bellot+3 more|arXiv (Cornell University)|Feb 17, 2023

Topic Modeling参考文献 310被引用数 6

ひとこと要約

本調査は、大規模言語モデル（LLMs）と記号的・プログラム的・知識基盤型のコンponentsを組み合わせたハイブリッドアーキテクチャについて、複雑な質問応答（CQA）課題に対処するための包括的分析を提供する。多段階推論、世界モデル化、分解といったスキルを評価し、神経記号統合、アクティブな人間を含むループ強化学習、プログラム合成といったハイブリッド戦略を提唱することで、事実でない情報や複数の情報源・複数段階のQAタスクにおける正確性、説明可能性、安全性を向上させる。

ABSTRACT

This paper reviews the state-of-the-art of large language models (LLM) architectures and strategies for "complex" question-answering with a focus on hybrid architectures. LLM based chatbot services have allowed anyone to grasp the potential of LLM to solve many common problems, but soon discovered their limitations for complex questions. Addressing more specific, complex questions (e.g., "What is the best mix of power-generation methods to reduce climate change ?") often requires specialized architectures, domain knowledge, new skills, decomposition and multi-step resolution, deep reasoning, sensitive data protection, explainability, and human-in-the-loop processes. Therefore, we review: (1) necessary skills and tasks for handling complex questions and common LLM limits to overcome; (2) dataset, cost functions and evaluation metrics for measuring and improving (e.g. accuracy, explainability, fairness, robustness, groundedness, faithfulness, toxicity...); (3) family of solutions to overcome LLM limitations by (a) training and reinforcement (b) hybridization, (c) prompting, (d) agentic-architectures (agents, tools) and extended reasoning.

研究の動機と目的

• 複雑な質問応答（CQA）に必要なコアスキル（多段階推論、世界モデル化、分解など）を特定・体系化すること。
• 単体のLLMsが、事実でない情報や複数の情報源、多段階の質問を処理する際の限界、特に幻覚現象、バイアス、説明可能性の欠如について分析すること。
• LLMの性能を向上させるために、神経記号系、プログラム合成、人間を含むループ強化学習といったハイブリッドアーキテクチャパターンを評価すること。
• HELM、BLOOM、BIGといったベンチマークが、LLMの能力と限界をCQAにおいてベースラインとして確立する役割を評価すること。
• 人間のフィードバック、構造化知識、マルチモーダルデータを統合するフレームワークを提言し、CQAシステムにおける真実性、安全性、ドメイン適応性の向上を図ること。

提案手法

• コミュニティベンチマークを用いたLLM能力の体系的レビュー：包括的評価のためのHELM、多言語オープンソースモデル分析のためのBLOOM、複雑な推論と少数例一般化を調査するためのBIG。
• 複雑なQAスキルを分類：世界モデル化（空間的・時間的・因果的・信念状態）、分解、経験学習（フィードバックによる自己改善）。
• LLMと記号的AI、知識グラフ、プログラム的推論を統合することで、マルチホップ、マルチソース、事実でないQAを可能にするハイブリッドアーキテクチャの設計。
• アクティブな人間を含むループ強化学習（RLHP、RLAIF）と反復的分解の適用により、モデルの意思に適合させ、事実性を向上させること。
• プロンプト戦略、微調整、構造化データにおける事前学習を用いて、LLMを事実知識に根拠づけ、幻覚現象を低減すること。
• マルチモーダル検索と構造化知識の根拠づけを統合し、複雑なQAパイプラインにおけるテキスト、ビジョン、知識ベース間の推論を支援すること。

実験結果

リサーチクエスチョン

• RQ1 単純な事実抽出を超えて、効果的な複雑な質問応答に必要な認知的・推論的スキルは何か？
• RQ2 現在のLLMsは、多段階推論、分解、世界モデル化を含む複雑なQAタスクにおいてどのように性能を発揮しているのか。主な失敗モードは何か？
• RQ3 LLMと記号的・プログラム的・知識基盤型コンponentsを効果的に統合するハイブリッドアーキテクチャパターンは何か？
• RQ4 人間を含むループフィードバックと強化学習を活用することで、LLMを人間の価値観に適合させ、バイアスを低減し、真実性を向上させることは可能か？
• RQ5 HELM、BLOOM、BIGといったベンチマークは、LLMの複雑な推論および複数情報源統合における限界を特定・定量化するために果たす役割は何か？

主な発見

• 単体のLLMsは、多段階推論、分解、時間的・因果的理解を要する非事実的質問に対して頻繁に失敗するが、単純なタスクでは人間を上回ることもある。
• HELMやBIGといったベンチマークは、LLMsが複雑なQAタスクにおいて顕著な性能格差を示しており、公平性、耐障害性、真実性の面で顕著な課題を露呈している。トップモデルですら、マルチホップおよびプログラム的推論において専門家の人間を下回っている。
• 特に記号的推論、知識グラフ、プログラム合成を組み合わせたハイブリッドアーキテクチャは、複雑なQAにおける正確性と一貫性を著しく向上させ、幻覚現象を低減し、説明可能性を向上させている。
• アクティブな人間を含むループ強化学習（例：RLHF、RLAIF）は、特に感受性の高いまたはニュアンスの複雑な分野において、モデルの意思と価値観への適合性を顕著に向上させる。
• 長文脈およびマルチモーダル推論は依然として大きな課題であり、現在のモデルは文書、時間、モダリティをまたがる情報統合において一貫性と事実性を維持するのが困難である。
• 経験学習と段階的知識統合は、長期的なシステム改善に不可欠であり、新しい情報やフィードバックに時間経過とともに適応できるようにする。