[논문 리뷰] Tree-of-Mixed-Thought: Combining Fast and Slow Thinking for Multi-hop Visual Reasoning

Pengbo Hu, Ji Qi외 6명|arXiv (Cornell University)|2023. 08. 18.

AI-based Problem Solving and Planning인용 수 5

한 줄 요약

이 논문은 다단계 시각적 추론에서 효율성과 정확성을 향상시키기 위해 빠른 한 번에 생성(시스템-1 사고)과 나무 구조의 사고(ToT, 시스템-2 사고)를 결합한 하이브리드 계획 프레임워크인 Tree-of-Mixed-Thought(ToMT)을 제안한다. 깊이 있는 노드에 전략적으로 빠른 사고를 적용하고, 반복적 정련을 위해 ToT를 사용함으로써, ToMT는 LLM 추론 단계를 최대 50% 감소시키면서도 복잡한 시각적 추론 작업에서 계획 정확도를 유지하거나 향상시킨다.

ABSTRACT

There emerges a promising trend of using large language models (LLMs) to generate code-like plans for complex inference tasks such as visual reasoning. This paradigm, known as LLM-based planning, provides flexibility in problem solving and endows better interpretability. However, current research is mostly limited to basic scenarios of simple questions that can be straightforward answered in a few inference steps. Planning for the more challenging multi-hop visual reasoning tasks remains under-explored. Specifically, under multi-hop reasoning situations, the trade-off between accuracy and the complexity of plan-searching becomes prominent. The prevailing algorithms either address the efficiency issue by employing the fast one-stop generation or adopt a complex iterative generation method to improve accuracy. Both fail to balance the need for efficiency and performance. Drawing inspiration from the dual system of cognition in the human brain, the fast and the slow think processes, we propose a hierarchical plan-searching algorithm that integrates the one-stop reasoning (fast) and the Tree-of-thought (slow). Our approach succeeds in performance while significantly saving inference steps. Moreover, we repurpose the PTR and the CLEVER datasets, developing a systematic framework for evaluating the performance and efficiency of LLMs-based plan-search algorithms under reasoning tasks at different levels of difficulty. Extensive experiments demonstrate the superiority of our proposed algorithm in terms of performance and efficiency. The dataset and code will be release soon.

연구 동기 및 목표

• 다단계 시각적 추론에서 반복적 탐색으로 인한 높은 LLM 추론 비용으로 인해 Tree-of-Thought(ToT)의 효율성이 떨어지는 문제를 해결한다.
• 복잡하고 장기적인 수준의 추론 작업에서 한 번에 생성하는 방식(빠른 사고)의 낮은 정확도 문제를 극복한다.
• 시각 전문 모델의 오류와 독립적으로 LLM 계획 성능를 고립하고 측정할 수 있는 체계적인 평가 프레임워크를 개발한다.
• 빠른 사고와 느린 사고를 계층적으로 통합함으로써 다단계 시각적 추론을 위한 효율적이고 정확한 계획을 가능하게 한다.

제안 방법

• 두 가지 하이브리드 전략인 ToT-OS(나무 구조의 사고와 한 번에 생성를 결합한 전략)와 ToT-Block을 제안하여, 한 번에 생성 방식과 ToT의 반복적, 백트래킹 기반 탐색 방식을 융합한다.
• 오류가 일찍 발생할 수 있는 초기 단계를 피하기 위해, 깊이 >1 인 노드에만 한 번에 생성 방식을 적용한다.
• 다중 추론 단계를 함께 처리하는 블록 기반 접근 방식을 사용하여 LLM 호출 수를 줄이고 효율성을 향상시킨다.
• 시각 정보에 직접적이고 정확하게 접근할 수 있도록 시나리오 그래프 상호작용 툴킷을 설계하여, LLM 계획과 시각 모델의 정확도 오류 간의 분리(디커플링)를 가능하게 한다.
• 계획의 정확성을 검증하고 필요에 따라 백트래킹을 트리거하기 위한 사고 검증 메커니즘을 구현한다.
• PTR 및 CLEVR 데이터셋을 재사용하여 네 가지 추론 구조와 아홉 가지 질문 유형을 포함하는 새로운 다단계 추론 벤치마크로 변환하여 계획의 복잡성과 깊이를 평가한다.

Figure 1: Dataset Diagram. We repurpose a novel dataset comprising four distinct types of reasoning structures and nine question types. To facilitate seamless interaction with scene graphs, we design dedicated tools. Further details regarding the dataset can be found in the Appendix.

실험 결과

연구 질문

• RQ1 빠른 한 번에 생성 방식과 느린 반복적 ToT 추론 방식을 융합함으로써 다단계 시각적 추론에서 효율성과 정확성을 동시에 향상시킬 수 있는가?
• RQ2 성능을 극대화하면서 오류 전파를 최소화하기 위해 빠른 사고는 어느 깊이에서 적용되어야 하는가?
• RQ3 ToT-Block 전략에서 블록 크기가 추론 효율성과 계획 정확성 간의 트레이드오���에 어떤 영향을 미치는가?
• RQ4 시나리오 그래프 기반 도구가 시각 모델의 편향 없이 정확한 LLM 계획 평가를 얼마나 잘 가능하게 하는가?
• RQ5 다양한 추론 구조(예: Long Rel, Logic)와 홉 수가 백트래킹의 필요성과 하이브리드 계획의 효과성에 어떤 영향을 미치는가?

주요 결과

• 시작 깊이 d=2로 설정된 ToT-OS 전략이 가장 균형 잡힌 성능을 보이며, 추론 단계를 줄이고도 높은 계획 정확도를 유지한다.
• ToT-Block 전략에서 블록 크기를 증가시킬수록 추론 단계는 감소하지만 계획 정확도는 떨어지며, 이는 효율성과 정밀도 사이에 명확한 트레이드오프가 있음을 확인한다.
• Long Rel 및 Logic과 같은 어려운 질문 유형에서는 백트래킹이 필수적이다. 백트래킹 없이 정확한 계획은 단 10~20%에 불과하여 반복적 정련의 필요성을 강조한다.
• 홉 수와 백트래킹 없이 정확한 계획 수 사이의 상관관계는 유의미하게 음의 방향을 띠며, 이는 더 긴 추론 체인에서는 반복적 탐색이 필요함을 확인한다.
• 제안된 평가 프레임워크는 LLM 계획 성능를 신뢰성 있게 고립시킬 수 있으며, 이는 시각 전문 모델의 오류가 LLM 능력을 가리킬 수 있음을 보여준다.
• 특히 고홉 수 및 복잡한 추론 시나리오에서, ToMT는 순수 ToT보다 정확도와 추론 효율성 측면에서 모두 뛰어나다.