[논문 리뷰] Prompting and Evaluating Large Language Models for Proactive Dialogues: Clarification, Target-guided, and Non-collaboration

Yang Deng, Lizi Liao외 4명|arXiv (Cornell University)|2023. 05. 23.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 능력을 향상시키기 위해 선제적 대화 시스템에서 사용할 수 있는 Proactive Chain-of-Thought (ProCoT) 프롬프팅을 제안한다. 이를 통해 LLMs는 명확화 질문을 생성하고 대화를 목표로 유도하며 전략적으로 협상할 수 있도록 한다. ProCoT는 LLMs의 계획 수립 능력과 주도성 향상을 도모하지만, 영역 특화 및 전략적 협상 작업에서는 여전히 성능이 제한되어 있다.

ABSTRACT

Conversational systems based on Large Language Models (LLMs), such as ChatGPT, show exceptional proficiency in context understanding and response generation. However, despite their impressive capabilities, they still possess limitations, such as providing randomly-guessed answers to ambiguous queries or failing to refuse users' requests, both of which are considered aspects of a conversational agent's proactivity. This raises the question of whether LLM-based conversational systems are equipped to handle proactive dialogue problems. In this work, we conduct a comprehensive analysis of LLM-based conversational systems, specifically focusing on three aspects of proactive dialogue systems: clarification, target-guided, and non-collaborative dialogues. To trigger the proactivity of LLMs, we propose the Proactive Chain-of-Thought prompting scheme, which augments LLMs with the goal planning capability over descriptive reasoning chains. Empirical findings are discussed to promote future studies on LLM-based proactive dialogue systems.

연구 동기 및 목표

• LLM 기반 대화 에이전트가 명확화, 목표 유도 대화, 비협력적 협상과 같은 선제적 대화 작업을 효과적으로 수행할 수 있는지 조사한다.
• 강력한 응답 생성 능력에도 불구하고, 명확화 질문을 묻거나 전략적 응답을 계획하는 등의 행동을 주도할 수 있는 능력이 LLMs에 부족한 점을 보완한다.
• 선제적 행동을 유도하기 위해 추론 및 목표 계획 수립을 유도하는 새로운 프롬프팅 기법인 Proactive Chain-of-Thought (ProCoT)을 설계하고 평가한다.
• 세 가지 선제적 대화 시나리오에서 LLM 기반 시스템과 최신 기술(SOTA) 대화 모델의 미세조정된 버전을 비교하여 성능과 한계를 평가한다.

제안 방법

• LLMs가 행동을 취하기 전에 서술적 추론 체인을 생성하도록 지시하는 Proactive Chain-of-Thought (ProCoT) 프롬프팅을 제안한다.
• ProCoT를 세 단계로 구조화한다: (1) 대화 목표 향한 중간 단계에 대한 추론, (2) 다음 행동 결정, (3) 결정된 행동 기반으로 응답 생성.
• 세 가지 프롬프팅 기법을 구현한다: 표준 프롬프팅(직접 응답), 선제적 프롬프팅(대화 액션 옵션 포함), ProCoT(추론 및 계획 단계 포함).
• 세 가지 대화 유형—정보 탐색에서의 명확화, 목표 유도 오픈 도메인 대화, 비협력적 협상 대화—에서 ChatGPT와 Vicuna 13B 두 LLM을 평가한다.
• 협상 효과성과 전략적 의사결정 능력을 평가하기 위해 Sale-to-List Ratio 및 대화 액트 정확도와 같은 자동화된 지표를 사용한다.
• 전략 분포 및 협상 행동에서의 오류 패턴을 포함한 모델 행동의 정량적 및 정성적 분석을 수행한다.

Figure 1: Examples of three kinds of prompting schemes for proactive dialogues. In the example of non-collaborative dialogue, the system plays the role of "Buyer", and the sale-to-list (SL) ratio shows the effectiveness of negotiation, which is calculated by ( $\text{listed price}-\text{bargain pric

실험 결과

연구 질문

• RQ1 ChatGPT와 Vicuna와 같은 LLMs는 모호한 사용자 질의를 마주했을 때 선제적으로 명확화 질문을 자주 묻는가?
• RQ2 LLMs는 사전 지정된 목표 주제로 오픈 도메인 대화를 얼마나 잘 유도할 수 있으며, 주제 전환은 얼마나 자연스럽게 수행되는가?
• RQ3 비협력적 협상 대화에서 LLMs는 전략적이고 타협하지 않는 결정을 내릴 수 있는가, 아니면 즉각적인 양보 행동으로 흐르는가?
• RQ4 Proactive Chain-of-Thought (ProCoT) 프롬프팅 기법은 이 세 가지 대화 유형에서 LLMs의 계획 수립 능력과 주도성 향상에 얼마나 효과적인가?
• RQ5 LLMs의 선제적 대화에서의 주요 실패 유형과 한계점은 무엇이며, 특히 영역 특화 또는 고위험 협상 환경에서 어떻게 나타나는가?

주요 결과

• 표준 프롬프팅을 사용하는 LLMs는 모호한 질의를 마주했을 때 거의 항상 명확화 질문을 묻지 않으며, 이는 정보 탐색 대화에서의 낮은 주도성과 관련이 있다.
• ProCoT는 명확화 질문 비율을 크게 향상시키지만, 영역 특화 응용에서는 여전히 성능이 최적화되지 않았다.
• LLMs는 목표 주제로의 공격적인 주제 전환을 보이지만, ProCoT를 통해 계획된 추론을 통해 더 부드럽고 전략적인 전환을 가능하게 한다.
• 비협력적 협상 대화에서는 LLMs가 히징어(Hedge words) 사용이나 즉각적인 제안 수락과 같은 양보 전략으로 흐르며, Sale-to-List Ratio가 낮아진다.
• ProCoT는 반안을 제안하도록 유도하여 협상에서의 전략적 의사결정 능력을 향상시키지만, 여전히 자기 이익 극대화를 위한 강력한 계획 수립 능력이 부족하다.
• 통제 가능한 응답 생성에서 뛰어난 성능을 보이지만, LLMs는 동적인 상호작용 대화 환경에서 장기적인 전략적 계획 수립과 목표 중심 행동을 수행하는 데 어려움을 겪는다.

Figure 2: Heatmaps on the relationships between target and predicted dialogue acts. As no dialogue act is predicted in standard prompting, a dialogue act classifier is trained to identify the dialogue act of the generated response.