[논문 리뷰] Controllable Mixed-Initiative Dialogue Generation through Prompting

Maximillian Chen, Xiao Yu외 3명|arXiv (Cornell University)|2023. 05. 06.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 제어 가능한 혼합 주도 대화 생성에서 파인튜닝의 대체로 소수 샘플 프롬프팅을 사용하는 것을 제안한다. 인간 평가 및 자동 평가 지표에서 두 작업(정서적 지원 대화 및 선한 영향력 확보)에서 프롬프트 기반 LLM이 파인튜닝 모델과 진짜 응답보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Mixed-initiative dialogue tasks involve repeated exchanges of information and conversational control. Conversational agents gain control by generating responses that follow particular dialogue intents or strategies, prescribed by a policy planner. The standard approach has been fine-tuning pre-trained language models to perform generation conditioned on these intents. However, these supervised generation models are limited by the cost and quality of data annotation. We instead prompt large language models as a drop-in replacement to fine-tuning on conditional generation. We formalize prompt construction for controllable mixed-initiative dialogue. Our findings show improvements over fine-tuning and ground truth responses according to human evaluation and automatic metrics for two tasks: PersuasionForGood and Emotional Support Conversations.

연구 동기 및 목표

• 파인튜닝된 모델의 제어 가능한 대화 생성에서의 한계, 즉 높은 주석 비용과 데이터 품질 및 분포 이탈에 대한 민감성 문제를 해결하기 위해.
• 사전 훈련된 LLM의 소수 샘플 프롬프팅이 감독적 파인튜닝보다 더 나은 제어력과 응답 품질을 달성할 수 있는지 탐색하기 위해.
• 혼합 주도 환경에서 특정 대화 전략에 맞는 응답을 생성하도록 LLM을 유도하기 위한 프롬프트 엔지니어링의 효과를 평가하기 위해.
• 자동 평가 지표와 인간 평가 지표에서 프롬프트 기반 LLM을 파인튜닝 모델과 인간 주석 기반 참조 응답과 비교하기 위해.

제안 방법

• 대화 기록과 원하는 전략을 조건으로 삼는 구조화된 소수 샘플 프롬프트를 설계하여 제어 가능한 혼합 주도 대화의 프롬프트 구성 방식을 체계화하기 위해.
• 소수 샘플 예시를 포함한 컨텍스트 학습을 사용하여 LLM이 특정 대화 전략(예: 재진술, 공감, 방향 전환)에 맞는 응답을 생성하도록 이끌기 위해.
• GPT-3와 같은 대규모 사전 훈련된 언어 모델을 제로샷 또는 소수 샘플 프롬프팅 기반 생성 헤드로 활용하여 작업 전용 파인튜닝의 필요성을 제거하기 위해.
• 대화 기록, 목표 전략, 예시 응답 쌍을 포함한 프롬프트를 설계하여 모델의 출력을 유도하기 위해.
• 자동 평가 지표와 인간 평가를 모두 사용하여 두 벤치마크 데이터셋인 정서적 지원 대화(ESC) 및 선한 영향력 확보(P4G)에서 시스템을 평가하기 위해.
• 프롬프트 기반 LLM 접근법을 파인튜닝 모델(예: Oracle-BlenderBot)과 인간 주석 기반 참조 응답과 비교하기 위해.

실험 결과

연구 질문

• RQ1 소수 샘플 프롬프팅을 사용한 대규모 언어 모델이 혼합 주도 환경에서 특정 대화 전략에 맞는 응답을 효과적으로 생성할 수 있는가?
• RQ2 응답 품질과 전략 준수 정도 측면에서 프롬프트 기반 LLM 생성 방식은 파인튜닝 모델보다 어떻게 비교되는가?
• RQ3 학습 데이터가 노이즈가 있거나 분포가 이격된 경우, 컨텍스트 예시를 포함한 프롬프팅이 파인튜닝보다 생성 품질을 향상시키는가?
• RQ4 작업 전용 파인튜닝 없이도 프롬프트 기반 LLM이 인간 수준의 응답 품질과 전략 제어를 달성할 수 있는가?
• RQ5 비표준 또는 자원이 부족한 언어 패턴을 포함한 사용자 입력의 변화에 대해 프롬프트 기반 접근법은 얼마나 견고한가?

주요 결과

• 정서적 지원 대화 데이터셋에서 프롬프트 기반 LLM 접근법이 인간 평가에서 파인튜닝 모델과 참조 응답 모두보다 뛰어난 성능을 보였다.
• 선한 영향력 확보 데이터셋에서 프롬프트 기반 LLM은 자동 평가 지표와 인간 평가에서 모두 파인튜닝 모델을 앞섰으며, 특히 설득력과 일관성 측면에서 뛰어났다.
• 인간 평가자들은 프롬프트 기반 LLM의 응답이 파인튜닝 모델보다 더 자연스럽고 일관성 있고 일관성 있게 느껴졌으며, 이는 후자조차도 참조 전략 레이블을 기반으로 훈련된 경우에도 마찬가지였다.
• 이 접근법은 분포 이탈과 주석 노이즈에 대해 뛰어난 견고성을 보였으며, 파인튜닝 없이도 다양한 대화 맥락에서 일반화 능력이 뛰어났다.
• 비유창하거나 자원이 부족한 사용자 입력의 경우, 프롬프트 기반 LLM은 응답 품질과 일관성을 유지했고, 분포 외부 입력에 약한 파인튜닝 모델보다 뛰어난 성능을 보였다.
• 연구에서는 철저히 설계된 컨텍스트 예시를 사용한 프롬프팅이 LLM이 복잡한 대화 전략(예: 재진술, 공감, 방향 전환)을 고정밀도로 모방하는 데 효과적임을 발견했다.