[논문 리뷰] Response Generation with Context-Aware Prompt Learning

Xiaodong Gu, Kang Min Yoo외 1명|arXiv (Cornell University)|2021. 11. 04.

Topic Modeling참고 문헌 26인용 수 13

한 줄 요약

이 논문은 대화 맥락에 따라 동적으로 프롬프트 임베딩을 생성함으로써, 파인튜닝 없이도 대규모 사전 훈련된 언어 모델이 더 높은 품질의 더 정보적인 응답을 생성할 수 있도록 하는 맥락 인식 프롬프트 학습 프레임워크인 DialogPrompt를 제안한다. 자동 평가 및 인간 평가에서 모두 파인튜닝 기준선과 일반적인 프롬프트 학습 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Pre-trained language models (PLM) have marked a huge leap in neural dialogue modeling. While PLMs are pre-trained on large-scale text corpora, they are usually fine-tuned on scarce dialogue data with specific domain knowledge and dialogue styles. However, tailoring the language models while fully utilizing prior knowledge in large pre-trained models remains a challenge. In this paper, we present a novel approach for pre-trained dialogue modeling that casts the dialogue generation problem as a prompt-learning task. Instead of fine-tuning on limited dialogue data, our approach, DialogPrompt, learns continuous prompt embeddings optimized for dialogue contexts, which appropriately elicit knowledge from the large pre-trained model. To encourage the model to better utilize the prompt embeddings, the prompt encoders are designed to be dynamically generated based on the dialogue context. Experiments on popular conversation datasets show that our approach significantly outperforms the fine-tuning baseline and the generic prompt-learning methods. Furthermore, human evaluations strongly support the superiority of DialogPrompt in regard to response generation quality.

연구 동기 및 목표

• 희귀한 대화 데이터에서 파인튜닝 중 사전 훈련된 언어 모델 지식의 재사용이 제한되는 문제를 해결하기 위해.
• 일반적인 프롬프트 학습의 한계를 극복하기 위해, 정적 프롬프트가 맥락 민감한 응답 의존성을 포착하지 못하는 문제를 해결하기 위해.
• 파생된 맥락 기반 프롬프트 임베딩을 생성하기 위해 동적 프롬프트 인코더를 설계하여 사전 훈련된 모델의 지식을 더 잘 이끌어내기 위해.
• 주 모델 파라미터를 동결하고 프롬프트 임베딩만 최적화함으로써 소규모 대화 데이터셋에서의 과적합을 줄이고 응답 생성 품질을 향상시키기 위해.

제안 방법

• DialogPrompt는 응답 생성 이전에 대화 맥락에 주목함으로써 맥락 인식 프롬프트 임베딩을 생성하는 동적 프롬프트 인코더를 도입한다.
• 모델은 입력 대화 맥락의 앞에 학습된 프롬프트 토큰을 첨부하며, 이는 트랜스포머 기반 인코더를 통해 맥락의 은닉 상태에 조건화된다.
• 사전 훈련된 언어 모델 파라미터를 동결하면서도 프롬프트 임베딩을 엔드 투 엔드로 최적화함으로써, 소수의 예제나 제로샷 적응이 가능하다.
• 동적 프롬프트 인코더는 맥락 표현을 사용해 개인화된 프롬프트 활성화를 생성함으로써 맥락의 관련성과 응답의 정보성 향상에 기여한다.
• 모델 전체를 파인튜닝하는 대신 최적화된 맥락 기반 프롬프트로 사전 훈련된 모델의 내부 지식을 유도함으로써, 사전 훈련된 모델의 지식 재사용을 극대화한다.
• 이 방법은 GPT-2 기반 모델에 적용되었으며, DailyDialog 및 MultiWOZ 데이터셋에서 자동 평가 지표와 인간 평가를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 파인튜닝 없이도 효과적으로 대화 생성에 프롬프트 학습을 적응시킬 수 있는가?
• RQ2 다중 턴 대화 환경에서 맥락 인식 프롬프트 학습은 정적 또는 보편적 프롬프트 학습보다 어떻게 비교되는가?
• RQ3 동적 프롬프트 인코더는 사전 훈련된 언어 모델의 지식 재사용을 어느 정도 향상시킬 수 있는가?
• RQ4 프롬프트 기반 접근법은 응답의 일관성, 정보성, 유창성 측면에서 파인튜닝을 능가하는가?

주요 결과

• DialogPrompt는 DailyDialog 및 MultiWOZ 데이터셋 전반에서 BLEU, ROUGE, FID 등의 자동 평가 지표에서 파인튜닝 기준선을 뚜렷이 앞서는 성능을 보였다.
• 인간 평가 결과, DialogPrompt는 파인튜닝 및 일반적인 프롬프트 학습 방법보다 더 정보적이고, 더 자연스럽고, 맥락에 부합하는 응답을 생성하는 것으로 확인되었다.
• 사례 연구에서 DialogPrompt는 'Imperial Porter'와 'standard beer'와 같은 구체적이고 도메인 관련 세부 정보를 생성하여 기준선 대비 더 나은 지식 활용 능력을 보였다.
• p-tuning 및 prefix-tuning은 종종 'Pardon?' 또는 'I’t think'와 같은 짧거나 비논리적인 출력을 생성하는 데 반해, DialogPrompt는 더 길고 더 일관된 응답을 생성했다.
• 인간 평가에서 DialogPrompt는 더 높은 정보성 점수를 기록했으며, 'time-consuming', 'business', 'car accident'와 같은 관련 关련 키워드가 맥락에 부합하는 방식으로 포함되었다.
• 동적 프롬프트 인코더는 더 나은 맥락 적응을 가능하게 하여, p-tuning이 'I’t think'와 같은 오류를 유발한 것과는 달리 더 자연스럽고 문법적으로 올바른 응답을 생성했다.