[논문 리뷰] Prompting for a conversation: How to control a dialog model?

Josef Valvoda, Yimai Fang외 1명|arXiv (Cornell University)|2022. 09. 22.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 제어망을 사용해 입력 쿼리에 따라 프롬프트를 조절하는 동적 프롬프팅을 제안한다. 이는 주 모델을 미세조정하지 않고도 고품질, 다양하고 새로운 응답을 생성할 수 있도록 한다. 이 방법은 미세조정 대비 BLEU4 점수에서 12% 향상되었으며, 높은 신선도(0.93)와 다양성(0.96)을 유지한다. 모든 지표에서 미세조정 및 소프트 프롬프팅을 능가하며, GPT-2는 동적 프롬프팅을 통해 DialoGPT를 초월한다.

ABSTRACT

Dialog modelling faces a difficult trade-off. Models are trained on a large amount of text, yet their responses need to be limited to a desired scope and style of a dialog agent. Because the datasets used to achieve the former contain language that is not compatible with the latter, pre-trained dialog models are fine-tuned on smaller curated datasets. However, the fine-tuning process robs them of the ability to produce diverse responses, eventually reducing them to dull conversation partners. In this paper we investigate if prompting can mitigate the above trade-off. Specifically, we experiment with conditioning the prompt on the query, rather than training a single prompt for all queries. By following the intuition that freezing the pre-trained language model will conserve its expressivity, we find that compared to fine-tuning, prompting can achieve a higher BLEU score and substantially improve the diversity and novelty of the responses.

연구 동기 및 목표

• 대규모 텍스트로 훈련된 대화 모델에서 응답 품질과 다양성 간의 상충 관계를 해결하기 위해.
• 특히 동적 프롬프팅이 모델의 표현력을 유지하면서 응답 내용에 대한 제어를 가능하게 하는지 조사하기 위해.
• 도메인 특화 사전 훈련(예: DialoGPT)이 대화 생성에서 효과적인 프롬프팅을 위해 필수적인지 평가하기 위해.
• 훈련 데이터 크기가 프롬프팅 기반 응답의 다양성과 신선도에 미치는 영향을 측정하기 위해.
• 일반 목적 모델(GPT-2)과 대화 전용 모델(DialoGPT) 간의 프롬프팅 하에서의 성능을 비교하기 위해.

제안 방법

• 동적 프롬프팅은 입력 쿼리에 따라 고유한 프롬프트 임베딩을 생성하는 제어망(Transformer 인코더)을 사용한다. 이는 맥락 인식 응답 생성을 가능하게 한다.
• 프롬프트는 학습 가능한 연속 벡터이며, 입력 시퀀스의 앞에 추가되며, 주 모델 가중치는 동결되어 일반 언어 능력을 유지한다.
• 주 모델은 업데이트되지 않고, 프롬프트 임베딩과 단어 임베딩만 미세조정하여 파rameter 업데이트를 최소화하고 모델 표현력을 유지한다.
• 비교를 위해 소프트 프롬프팅 기반 설정을 사용한다. 이 경우 단일 고정 프롬프트가 모든 입력에 동일하게 적용되며, 쿼리 조건부 적용은 없다.
• 제어망은 입력 쿼리를 처리하고 맥락에 맞는 프롬프트 벡터를 생성함으로써, 모델이 각 대화 턴마다 응답 스타일을 동적으로 조정할 수 있도록 한다.
• 훈련 데이터를 10%에서 100%로 다양하게 설정하여, DailyDialog 데이터셋에서 GPT-2와 DialoGPT를 대상으로 실험을 수행한다.

실험 결과

연구 질문

• RQ1 동적 프롬프팅이 대화 생성에서 미세조정 및 소프트 프롬프팅보다 더 높은 응답 품질(BLEU4 기준)을 달성할 수 있는가?
• RQ2 BLEU4 점수가 높아질수록 동적 프롬프팅이 미세조정 및 소프트 프롬프팅보다 더 높은 응답의 신선도와 다양성을 유지하는가?
• RQ3 일반 목적 언어 모델인 GPT-2가 동적 프롬프팅을 적용했을 때 대화 전용 모델인 DialoGPT를 능가하는가?
• RQ4 훈련 데이터의 양이 동적 프롬프팅과 미세조정, 소프트 프롬프팅의 신선도와 다양성에 미치는 영향은 어떠한가?
• RQ5 대화 모델링에서 효과적인 프롬프팅을 위해 도메인 특화 사전 훈련이 필수적인가, 아니면 일반 사전 훈련으로도 충분한가?

주요 결과

• 동적 프롬프트 모델은 BLEU4 점수 0.12를 기록하여, 미세조정(0.11) 대비 9% 향상되고, 소프트 프롬프팅(0.08) 대비 15% 향상되었다.
• 동적 프롬프팅은 0.93의 신선도 점수와 0.96의 다양성 점수를 유지하며, 미세조정(0.74 및 0.79)과 소프트 프롬프팅(0.85 및 0.87)을 크게 능가한다.
• 훈련 데이터가 증가함에 따라 동적 프롬프팅은 높은 BLEU4와 높은 신선도/다양성을 유지하지만, 미세조정 및 소프트 프롬프팅은 BLEU4 점수가 높아질수록 신선도와 다양성이 급격히 감소한다.
• GPT-2는 동적 프롬프팅을 통해 BLEU4 0.14를 기록했으며, 동일한 프롬프팅 환경에서 DialoGPT의 0.12 대비 19% 향상되었고, 이는 대화 전용 사전 훈련의 필요성을 도전하는 결과이다.
• GPT-2 또는 DialoGPT를 모두 미세조정했을 때 거의 동일한 성능을 기록함으로써, 프롬프팅을 사용할 경우 대화 전용 사전 훈련의 이점이 미미하다는 것을 시사한다.
• 동적 프롬프팅은 훈련 데이터의 10%에서도 효과적이며, 소프트 프롬프팅은 30% 이상 데이터에서 더 이상 향상되지 않으며, 더 큰 설정에서는 성능이 열 劣하다.