[論文レビュー] Flows: Building Blocks of Reasoning and Collaborating AI

Martin Josifoski, Lars Klein+9 more|arXiv (Cornell University)|Aug 2, 2023

Reinforcement Learning in Robotics参考文献 44被引用数 4

ひとこと要約

本論文では、AIシステムにおける複雑な推論および協働を構造化するためのモジュラーでメッセージベースのフレームワーク「Flows」を紹介する。このフレームワークにより、自己完結型の計算ユニットを再帰的に組み合わせることが可能となる。競争的コーディングのベンチマークで評価したところ、FlowsはAIオンリーで+21ポイント、人間–AI連携で+54ポイントのスコア向上を達成し、構造的で体系的な相互作用が、非構造的なプロンプト提示に比べて一般化性能と性能を顕著に向上させることを示した。

ABSTRACT

Recent advances in artificial intelligence (AI) have produced highly capable and controllable systems. This creates unprecedented opportunities for structured reasoning as well as collaboration among multiple AI systems and humans. To fully realize this potential, it is essential to develop a principled way of designing and studying such structured interactions. For this purpose, we introduce the conceptual framework Flows. Flows are self-contained building blocks of computation, with an isolated state, communicating through a standardized message-based interface. This modular design simplifies the process of creating Flows by allowing them to be recursively composed into arbitrarily nested interactions and is inherently concurrency-friendly. Crucially, any interaction can be implemented using this framework, including prior work on AI-AI and human-AI interactions, prompt engineering schemes, and tool augmentation. We demonstrate the potential of Flows on competitive coding, a challenging task on which even GPT-4 struggles. Our results suggest that structured reasoning and collaboration substantially improve generalization, with AI-only Flows adding +21 and human-AI Flows adding +54 absolute points in terms of solve rate. To support rapid and rigorous research, we introduce the aiFlows library embodying Flows. The aiFlows library is available at https://github.com/epfl-dlab/aiflows. Data and Flows for reproducing our experiments are available at https://github.com/epfl-dlab/cc_flows.

研究の動機と目的

• AIシステムおよび人間同士の間で複雑かつ構造的な相互作用をモデル化するための原理的でスケーラブルな抽象化の欠如に対処すること。
• 一時的な制御フローにとどまらない、LLMベースのシステムにおける推論および協働パターンの体系的かつ包括的な研究を可能にすること。
• 計算ユニットのモularityと隔離を活用することで、マルチエージェントおよび人間–AIワークフローの設計における複雑さを軽減すること。
• ログ記録と組み合わせの可能性を備えた標準化されたインfrastrucureを提供することで、きめ細やかな再現性のある研究を支援すること。
• 構造的な相互作用パターンが、挑戦的な推論タスクにおける一般化性能と性能を顕著に向上させることを実証すること。

提案手法

• Flowsは、自己完結型で目標指向の計算ユニットであり、隔離された状態と標準化されたメッセージベースのインターフェースを介した通信を特徴とする。
• 原子的Flowsは、コード実行や検索などの基本的ツールから構成され、複合的Flowsは複数のFlowsをネスト型・階層的構造で組み合わせることで構成される。
• フレームワークは再帰的組み合わせと非同期実行をサポートしており、複雑で動的なワークフローの実現を可能にする。
• aiFlowsライブラリはFlows抽象化を実装し、Flowsの定義・組み合わせ・ログ記録・実行を支援するツールを提供する。
• 実験では、データ漏洩と分散分析を制御した競争的コーディングベンチマークを用い、相互作用パターンの評価が行われた。
• フィードバックメカニズム（反射や根拠付け）がFlowsに統合されており、改善度と協働品質の評価が可能となっている。

実験結果

リサーチクエスチョン

• RQ1 Flowsにおける構造的推論および協働パターンは、複雑な推論タスクにおける一般化にどのように影響するか？
• RQ2 ハイレベルな推論における人間の関与は、競争的コーディングにおける解決性能にどのような影響を及ぼすか？
• RQ3 反射や根拠づけといった異なる改善戦略は、AI生成ソリューションの有効性にどのように影響するか？
• RQ4 Flowsによる性能向上は、データ汚染およびモデル出力の分散にどの程度依存しているか？
• RQ5 再帰的かつ非同期的な組み合わせによって、Flowsはメタ推論および自律的行動をサポートできるか？

主な発見

• AIオンリーのFlowsは、競争的コーディングベンチマークで+21の絶対ポイントのスコア向上を達成し、構造的推論の利点を示した。
• 人間–AI連携のFlowsは+54の絶対ポイントの向上を達成し、ハイレベルな推論における人間フィードバックの価値の高さを強調した。
• 反射や根拠づけといった改善パターンの有効性は普遍的ではなく、フィードバックの質とソリューションの根拠づけの質に依存する。
• データ汚染は結果に顕著な影響を及ぼし、有効な結論を導くためには誤差範囲をきめ細かく報告する必要がある。
• 問題の分解は、中間ステップが高品質でフィードバックに基づいて根拠づけられている場合にのみ有効である。
• Flowsフレームワークは、非同期的でモジュラーかつ組み合わせ可能なワークフローを可能にし、メタ推論およびスケーラブルな協働を支援する。