[論文レビュー] TPE: Towards Better Compositional Reasoning over Conceptual Tools with Multi-persona Collaboration

Hongru Wang, Huimin Wang+7 more|arXiv (Cornell University)|Sep 28, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、応答生成を3つの役割に分解することで、会話システムにおける構成的推論を向上させる、TPEと呼ばれるマルチ・ペルソナ協働フレームワークを提案する。各役割は、Thinker（ユーザーの文脈を分析）、Planner（概念的ツールの使用を計画）、Executor（実行と応答の組み立て）である。TPEは、知識源や指導戦略といった概念的ツールに対する推論を強化し、トークンの重複を低減するとともに説明可能性を向上させ、マルチソース（FoCus）およびマルチ戦略（CIMA、PsyQA）の会話ベンチマークで最先端の性能を達成する。

ABSTRACT

Large language models (LLMs) have demonstrated exceptional performance in planning the use of various functional tools, such as calculators and retrievers, particularly in question-answering tasks. In this paper, we expand the definition of these tools, centering on conceptual tools within the context of dialogue systems. A conceptual tool specifies a cognitive concept that aids systematic or investigative thought. These conceptual tools play important roles in practice, such as multiple psychological or tutoring strategies being dynamically applied in a single turn to compose helpful responses. To further enhance the reasoning and planning capability of LLMs with these conceptual tools, we introduce a multi-persona collaboration framework: Think-Plan-Execute (TPE). This framework decouples the response generation process into three distinct roles: Thinker, Planner, and Executor. Specifically, the Thinker analyzes the internal status exhibited in the dialogue context, such as user emotions and preferences, to formulate a global guideline. The Planner then generates executable plans to call different conceptual tools (e.g., sources or strategies), while the Executor compiles all intermediate results into a coherent response. This structured approach not only enhances the explainability and controllability of responses but also reduces token redundancy. We demonstrate the effectiveness of TPE across various dialogue response generation tasks, including multi-source (FoCus) and multi-strategy interactions (CIMA and PsyQA). This reveals its potential to handle real-world dialogue interactions that require more complicated tool learning beyond just functional tools. The full code and data will be released for reproduction.

研究の動機と目的

• 既存のLLMベースの会話システムが主に機能的ツール（例：API、リtriever）を扱うが、体系的思考を支援する精神的構造（例：心理的戦略、知識源）といった概念的ツールを十分に活用していないという限界に対処すること。
• 多様な概念的ツールの動的で複数ステップにわたる統合を要する複雑な会話シナリオにおいて、LLMの推論および計画能力を向上させること。
• 推論プロセスを明確に分離した役割固有のフェーズにすることで、応答の説明可能性、制御可能性、パーソナライゼーションを向上させること。
• 従来の機能的ツールの使用を超えて、複数のソースや戦略を含む多様な会話タスクにおいて、本フレームワークの有効性を実証すること。

提案手法

• TPEフレームワークは、Thinker、Planner、Executorの3つの明確なペルソナを導入し、応答生成の各段階を担当する。
• Thinkerは会話文脈を分析してユーザーの感情、好み、意図を推定し、応答生成のための包括的ガイドラインを生成する。
• PlannerはThinkerの出力をもとに、文書リtrieverや心理的戦略などの概念的ツールを呼び出す実行可能アクションの順序を策定する。
• Executorは複数の概念的ツールからの中間結果を統合し、一貫性があり自然な言語の応答を生成する。
• 各コンponentは役割固有の指示でプロンプトされ、構造的でモジュラーな推論を実現し、トークンの重複を低減する。
• 本フレームワークは、マルチソース（FoCus）およびマルチ戦略（CIMA、PsyQA）の会話タスクに適用され、ファインチューニングを一切行わず、ゼロショットプロンプティングが用いられている。

実験結果

リサーチクエスチョン

• RQ1 知識源や心理的戦略といった概念的ツールを扱う際、構造的なマルチ・ペルソナ協働フレームワークは、LLMにおける構成的推論を向上させ得るか？
• RQ2 推論をThinker、Planner、Executorの役割に分離することで、複雑な会話システムにおける応答品質、説明可能性、制御可能性にどのような影響を与えるか？
• RQ3 TPEは、タスク固有のファインチューニングなしに、複数の概念的ツールの動的統合を要する多様な会話タスクにどの程度一般化可能か？
• RQ4 TPEは、複数のツールを用いる会話シナリオにおいて、標準的な自己回帰的生成と比較してトークンの重複を低減するか？

主な発見

• TPEは、マルチソース会話向けのFoCusベンチマークで最先端の性能を達成し、複数の知識源に対する優れた推論能力を示している。
• マルチ戦略指導会話向けのCIMAベンチマークでは、ヒント、質問、是正といった教育戦略を文脈的に適切な順序で効果的に組み合わせることで、強力なベースラインを上回っている。
• 計画と実行を分離することで、TPEはトークンの重複を顕著に低減し、より簡潔で的を射た応答を実現している。
• 異なるペルソナ役割を通じて推論プロセスをモジュラーかつ追跡可能にすることで、TPEは応答の説明可能性と制御可能性を向上させている。
• 多様な会話タスクにTPEをゼロショットで適用した結果、優れた一般化性能が示され、ファインチューニング済みモデルに依存しない堅牢性が裏付けられている。
• アブレーションスタディにより、Thinker、Planner、Executorの各コンponentが最終的なパフォーマンスに有意に寄与していることが確認され、マルチ・ペルソナ協働の設計が妥当であることが検証された。