[논문 리뷰] TPE: Towards Better Compositional Reasoning over Conceptual Tools with Multi-persona Collaboration

Hongru Wang, Huimin Wang외 7명|arXiv (Cornell University)|2023. 09. 28.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 대화 시스템에서 구성적 추론을 향상시키기 위해 응답 생성을 세 가지 역할로 분해하는 TPE라는 다중 인물 협업 프레임워크를 제안한다: Thinker(사용자 맥락 분석), Planner(개념적 도구 사용 계획 수립), Executor(실행 및 응답 조합). TPE는 지식 소스 및 가이드라인 전략과 같은 개념적 도구에 대한 추론을 향상시키며, 토큰 중복 감소와 설명 가능성 향상으로 인해 다중 소스(FoCus) 및 다중 전략(CIMA, PsyQA) 대화 벤치마크에서 최신 기술 수준의 성능을 입증한다.

ABSTRACT

Large language models (LLMs) have demonstrated exceptional performance in planning the use of various functional tools, such as calculators and retrievers, particularly in question-answering tasks. In this paper, we expand the definition of these tools, centering on conceptual tools within the context of dialogue systems. A conceptual tool specifies a cognitive concept that aids systematic or investigative thought. These conceptual tools play important roles in practice, such as multiple psychological or tutoring strategies being dynamically applied in a single turn to compose helpful responses. To further enhance the reasoning and planning capability of LLMs with these conceptual tools, we introduce a multi-persona collaboration framework: Think-Plan-Execute (TPE). This framework decouples the response generation process into three distinct roles: Thinker, Planner, and Executor. Specifically, the Thinker analyzes the internal status exhibited in the dialogue context, such as user emotions and preferences, to formulate a global guideline. The Planner then generates executable plans to call different conceptual tools (e.g., sources or strategies), while the Executor compiles all intermediate results into a coherent response. This structured approach not only enhances the explainability and controllability of responses but also reduces token redundancy. We demonstrate the effectiveness of TPE across various dialogue response generation tasks, including multi-source (FoCus) and multi-strategy interactions (CIMA and PsyQA). This reveals its potential to handle real-world dialogue interactions that require more complicated tool learning beyond just functional tools. The full code and data will be released for reproduction.

연구 동기 및 목표

• 기존의 LLM 기반 대화 시스템이 주로 기능적 도구(예: API, 검색기)를 다루지만 개념적 도구—심리적 전략이나 지식 소스와 같은 정신적 구성물—는 활용도가 낮다는 한계를 해결하기 위해.
• 다양한 개념적 도구의 동적이고 다단계 통합이 필요한 복잡한 대화 시나리오에서 LLM의 추론 및 계획 능력을 향상시키기 위해.
• 추론 과정을 별도의 역할 중심 단계로 구조화함으로써 응답의 설명 가능성, 제어 가능성, 개인화를 향상시키기 위해.
• 기존의 기능적 도구 사용을 초월하여 다수의 소스와 전략을 포함하는 다양한 대화 작업에서 이 프레임워크의 효과성을 입증하기 위해.

제안 방법

• TPE 프레임워크는 세 가지 별도의 인물 역할을 도입한다: Thinker, Planner, Executor로, 각각 응답 생성의 특정 단계를 담당한다.
• Thinker는 대화 맥락을 분석하여 사용자 정서, 선호도, 의도를 추론하고, 응답 생성을 위한 종합적 지침을 생성한다.
• Planner는 Thinker의 출력에 기반하여 개념적 도구(예: 문서 검색기 또는 심리적 전략)를 호출할 수 있는 실행 가능한 행동 시퀀스를 수립한다.
• Executor는 다수의 개념적 도구로부터 유도된 중간 결과를 통합하여 일관되고 자연스러운 언어 응답을 구성한다.
• 각 구성 요소는 역할에 특화된 지시문을 통해 프롬프트가 제공되어 구조화되고 모듈화된 추론를 보장하며 토큰 중복을 줄인다.
• 프레임워크는 기능적 도구 사용을 초월하여 다중 소스(FoCus) 및 다중 전략(CIMA, PsyQA) 대화 작업에 적용되었으며, 태스크 특화 미세조정 없이 제로샷 프롬프팅 방식을 사용했다.

실험 결과

연구 질문

• RQ1 지식 소스 및 심리적 전략와 같은 개념적 도구를 다룰 때, 구조화된 다중 인물 협업 프레임워크가 LLM의 구성적 추론을 향상시킬 수 있는가?
• RQ2 Thinker, Planner, Executor 역할로 추론을 분리할 경우, 복잡한 대화 시스템에서 응답 품질, 설명 가능성, 제어 가능성에 어떤 영향을 미치는가?
• RQ3 TPE는 태스크 특화 미세조정 없이도 다양한 대화 작업에 대해 다수의 개념적 도구를 동적으로 통합하는 데 얼마나 일반화될 수 있는가?
• RQ4 TPE는 다중 도구 대화 시나리오에서 표준 자동 회귀 생성 방식에 비해 토큰 중복을 줄이는가?

주요 결과

• TPE는 다중 소스 대화에 적합한 FoCus 벤치마크에서 최신 기술 수준의 성능을 달성하며, 여러 지식 소스에 대한 우수한 추론 능력을 입증한다.
• 다중 전략 테이칭 대화에 적합한 CIMA 벤치마크에서는, 힌트, 질문, 수정과 같은 교육 전략을 맥락에 적절한 순서로 효과적으로 조합함으로써 강력한 베이스라인을 능가한다.
• 계획과 실행을 분리함으로써 TPE는 토큰 중복을 크게 감소시켜 더 간결하고 집중된 응답을 생성한다.
• 각기 다른 인물 역할을 통해 추론 과정을 모듈화하고 추적 가능하게 하여 TPE는 응답의 설명 가능성과 제어 가능성을 향상시킨다.
• 다양한 대화 작업에 대해 TPE를 제로샷으로 적용한 결과 강력한 일반화 능력을 보이며, 미세조정된 모델을 초월한 견고성을 입증한다.
• 제거 실험 결과 각 구성 요소—Thinker, Planner, Executor—가 최종 성능에 기여하고 있음을 확인하여 다중 인물 협업 설계의 타당성을 검증한다.