[論文レビュー] Tree-of-Mixed-Thought: Combining Fast and Slow Thinking for Multi-hop Visual Reasoning

Pengbo Hu, Ji Qi+6 more|arXiv (Cornell University)|Aug 18, 2023

AI-based Problem Solving and Planning被引用数 5

ひとこと要約

本稿では、高速なワンストップ生成（システム1的思考）とツリー・オブ・トゥーク（ToT、システム2的思考）を組み合わせたハイブリッド計画フレームワーク、Tree-of-Mixed-Thought（ToMT）を提案する。これにより、マルチホップ視覚的推論における効率性と正確性が向上する。深いノードにおいては戦略的に高速思考を適用し、反復的でバックトラッキングに基づく改善にToTを用いることで、LLMの推論ステップを最大50％削減しつつ、複雑な視覚的推論タスクにおける計画の正確性を維持または向上させることができる。

ABSTRACT

There emerges a promising trend of using large language models (LLMs) to generate code-like plans for complex inference tasks such as visual reasoning. This paradigm, known as LLM-based planning, provides flexibility in problem solving and endows better interpretability. However, current research is mostly limited to basic scenarios of simple questions that can be straightforward answered in a few inference steps. Planning for the more challenging multi-hop visual reasoning tasks remains under-explored. Specifically, under multi-hop reasoning situations, the trade-off between accuracy and the complexity of plan-searching becomes prominent. The prevailing algorithms either address the efficiency issue by employing the fast one-stop generation or adopt a complex iterative generation method to improve accuracy. Both fail to balance the need for efficiency and performance. Drawing inspiration from the dual system of cognition in the human brain, the fast and the slow think processes, we propose a hierarchical plan-searching algorithm that integrates the one-stop reasoning (fast) and the Tree-of-thought (slow). Our approach succeeds in performance while significantly saving inference steps. Moreover, we repurpose the PTR and the CLEVER datasets, developing a systematic framework for evaluating the performance and efficiency of LLMs-based plan-search algorithms under reasoning tasks at different levels of difficulty. Extensive experiments demonstrate the superiority of our proposed algorithm in terms of performance and efficiency. The dataset and code will be release soon.

研究の動機と目的

• 反復的探索による高コストなLLM推論が原因で、マルチホップ視覚的推論におけるツリー・オブ・トゥーク（ToT）の非効率性を是正する。
• 複雑で長時間にわたる推論タスクにおけるワンストップ生成（高速思考）の低正確性を克服する。
• 視覚的専門モデルの誤差とは独立して、LLM計画性能を分離して測定可能な体系的評価フレームワークを構築する。
• 階層的に高速思考と遅速思考を統合することで、マルチホップ視覚的推論における効率的かつ正確な計画を実現する。

提案手法

• 2つのハイブリッド戦略、ToT-OS（ツリー・オブ・トゥークにワンストップを組み合わせたもの）とToT-Blockを提案し、ワンストップ生成とToTの反復的・バックトラッキングベースの探索を統合する。
• 深さ>1のノードでのみワンストップ生成を適用することで、初期段階での誤りを回避しつつ、高速推論の利点を保全する。
• 複数の推論ステップを一度に処理するブロックベースのアプローチを採用し、LLMコールを削減し、効率性を向上させる。
• 視覚情報への直接的かつ正確なアクセスを可能にするシーングラフインタラクションツールキットを設計し、LLM計画と視覚モデルの不正確さを分離する。
• 計画の正しさを検証し、必要に応じてバックトラッキングをトリガーするためのセーフティーチェックメカニズムを実装する。
• PTRおよびCLEVRデータセットを再利用し、4つの推論構造と9種類の質問タイプを備えた新しいマルチホップ推論ベンチマークに再構成することで、計画の複雑さと深さを評価する。

Figure 1: Dataset Diagram. We repurpose a novel dataset comprising four distinct types of reasoning structures and nine question types. To facilitate seamless interaction with scene graphs, we design dedicated tools. Further details regarding the dataset can be found in the Appendix.

実験結果

リサーチクエスチョン

• RQ1 高速なワンストップ生成と遅速的で反復的なToT推論を組み合わせることで、マルチホップ視覚的推論における効率性と正確性の両方が向上するか？
• RQ2 性能を最大化し、誤りの伝搬を最小限に抑えるために、高速思考をどの深さで適用すべきか？
• RQ3 ToT-Block戦略におけるブロックサイズは、推論効率と計画正確性のトレードオフにどのように影響するか？
• RQ4 シーングラフベースのツールは、視覚モデルのバイアスなしに、LLM計画の正確な独立評価をどの程度可能にするか？
• RQ5 異なる推論構造（例：Long Rel, Logic）やホップ数は、バックトラッキングの必要性やハイブリッド計画の有効性にどのように影響するか？

主な発見

• 開始深さd=2のToT-OS戦略が最良のバランスを実現し、推論ステップを削減しつつ高い計画正確性を維持する。
• ToT-Blockにおけるブロックサイズの増加は推論ステップを減少させるが、計画正確性を低下させる。これは、効率性と正確性の明確なトレードオフを確認するものである。
• Long Rel や Logic のような難易度の高い質問タイプでは、バックトラッキングが不可欠である。バックトラッキングなしでは計画の正しさはたった10–20％にとどまるため、反復的改善の必要性が顕著に示された。
• ホップ数とバックトラッキングなしでの正解計画数の間には顕著な負の相関が認められ、より長い推論チェーンでは反復的探索が必要であることを裏付けた。
• 提案された評価フレームワークにより、LLM計画性能の信頼性ある分離が可能となり、視覚的専門モデルの誤差がLLMの能力を隠蔽する可能性があることが明らかになった。
• ToMTは、特に高ホップ数および複雑な推論シナリオにおいて、純粋なToTよりも正確性と推論効率の両面で優れている。