[논문 리뷰] Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models

Haoyu Gao, Ting-En Lin외 5명|arXiv (Cornell University)|2023. 09. 22.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대화의 다중 전환 맥락에서 대규모 언어 모델(LM)의 이해력을 향상시키기 위해 각 발언에 대해 사전에 설명을 생성하도록 요구함으로써, 작업에 종속되지 않는 제로샷 프롬프팅 전략인 Self-Explanation Prompting을 제안한다. 이 방법은 다른 제로샷 프롬프팅보다 뚜렷하게 뛰어나며, 여섯 개의 대화 벤치마크 데이터셋에서 소수의 예시를 사용한 프롬프팅과 동등하거나 이를 초월하는 성능을 보이며, 미세조정 없이도 맥락 이해 능력이 향상됨을 입증한다.

ABSTRACT

Task-oriented dialogue (TOD) systems facilitate users in executing various activities via multi-turn dialogues, but Large Language Models (LLMs) often struggle to comprehend these intricate contexts. In this study, we propose a novel "Self-Explanation" prompting strategy to enhance the comprehension abilities of LLMs in multi-turn dialogues. This task-agnostic approach requires the model to analyze each dialogue utterance before task execution, thereby improving performance across various dialogue-centric tasks. Experimental results from six benchmark datasets confirm that our method consistently outperforms other zero-shot prompts and matches or exceeds the efficacy of few-shot prompts, demonstrating its potential as a powerful tool in enhancing LLMs' comprehension in complex dialogue tasks.

연구 동기 및 목표

• 사고 중심의 프롬프팅 기법인 Chain-of-Thought이 성능을 발휘하지 못하는 복잡한 다중 전환 작업 중심 대화(TOD)에서 대규모 언어 모델(LLM)의 제한된 맥락 이해 능력을 개선하기 위해.
• 소수의 예시 또는 미세조정에 의존도를 줄이기 위해 맥락 이해 능력을 향상시키는 제로샷 프롬프팅 전략을 개발하기 위해.
• 대화 중심 작업 전반에 적용 가능한 작업에 종속되지 않는 프롬프팅 방법을 만들기 위해, 대화 상태 추적 및 다음 행동 예측을 포함한 다양한 대화 중심 작업에 적용 가능하도록.
• 답변 검색이 추론보다 맥락 이해에 크게 의존하는 장기 맥락 및 외부 검색에 의존하는 대화 작업에서 LLM의 성능을 향상시키기 위해.
• 자기 설명이 모델의 성능 향상에 기여하는 이유는 작업 수행 이전에 내부 맥락 처리 능력을 강화하기 때문임을 입증하기 위해.

제안 방법

• 이 방법은 대규모 언어 모델이 최종 작업을 수행하기 전에 맥락 내 각 대화 발언을 설명하도록 지시하는 프롬프트 템플릿을 도입한다.
• 각 전환 전에 '다음 발언을 대화 맥락에서 설명하시오:'와 같은 프리픽스를 제공한 후, 작업에 특화된 지시문을 이어가도록 한다.
• 이 자기 설명 단계는 모델가 최종 응답을 생성하기 전에 각 발언의 의미를 분석하고 내재화하도록 강제한다.
• 이 방법은 완전히 제로샷이며, 레이블이 붙은 예시나 작업에 특화된 미세조정이 필요하지 않다.
• 이 방법은 대화 상태 추적, 슬롯 채우기, 다음 행동 예측을 포함한 다양한 대화 작업에 동일하게 적용된다.
• 설명 단계는 입력 프롬프트에 통합되어 있어 어떤 LLM과도 호환되며, 다양한 대화 데이터셋에 쉽게 구현 가능하다.

Figure 1: The input example for the reasoning task and the task-oriented dialogue is structured into two components: Context and Question.

실험 결과

연구 질문

• RQ1 미세조정 없이도 단순한 자기 설명 프롬프팅 전략이 다중 전환 대화에서 LLM의 맥락 이해 능력을 향상시킬 수 있는가?
• RQ2 Chain-of-Thought과 같은 기존의 제로샷 프롬프팅 방법과 비교해 Self-Explanation Prompting은 대화 이해 작업에서 어떤 성능을 보이는가?
• RQ3 이 방법은 장기 맥락 및 외부 답변 검색 공간을 포함한 다양한 대화 중심 작업으로 일반화되는가?
• RQ4 Self-Explanation Prompting은 대화 이해에서 소수의 예시를 사용한 프롬프팅과 동등한 성능을 낼 수 있는가?
• RQ5 발언 수준의 설명을 요구하는 것이 직접적인 작업 프롬프팅보다 더 나은 맥락 기반 처리를 이끌어내는가?

주요 결과

• Self-Explanation Prompting은 MultiWOZ, SGD, MultiArith를 포함한 여섯 개의 벤치마크 대화 데이터셋에서 다른 모든 제로샷 프롬프팅 기반 성능을 일관되게 뛰어넘는다.
• 이 방법은 소수의 예시를 사용한 프롬프팅 전략과 동등하거나 이를 초월하는 성능을 달성하여 강력한 제로샷 효과를 입증한다.
• MultiWOZ 데이터셋에서 이 방법은 표준 CoT 및 제로샷 기반 성능을 뛰어넘는 대화 상태 추적 정확도를 확보한다.
• 이 방법은 장기 맥락 이해 및 외부 지식 검색이 필요한 작업을 포함한 다양한 대화 작업에서 뛰어난 내성적 안정성을 보인다.
• 성능 향상은 향상된 맥락 기반 처리 덕분이며, 자기 설명 단계가 대화 기록을 추적하고 추론하는 데 모델의 능력을 강화하기 때문이다.
• 이 방법은 작업에 종속되지 않으며, 아키텍처나 프롬프트 엔지니어링 수정 없이도 다양한 대화 작업에 동일하게 적용 가능하다.

Figure 2: Example inputs and outputs of GPT-3 with No explanation ahead (upper) and Explain before answer (lower). Explanation greatly improves the understanding of the dialogue.