[논문 리뷰] Analyzing the Forgetting Problem in the Pretrain-Finetuning of Dialogue Response Models

Tianxing He, Jun Liu외 5명|arXiv (Cornell University)|2019. 10. 16.

Topic Modeling참고 문헌 39인용 수 12

한 줄 요약

이 논문은 사전학습-微조정 프레임워크에서 표준적인 미세조정이 대규모 사전학습 기간 동안 습득한 핵심 언어 생성 기술—예를 들어 지식 검색 및 맥락 민감성—을 대화 응답 모델이 망각하게 한다고 규명한다. 이를 완화하기 위해 저자는 사전학습 데이터와 타겟 작업 데이터를 번갈아가며 사용하는 '믹스리뷰' 미세조정을 제안하며, 이는 망각을 크게 줄이고 더 정보가 풍부하고 맥락에 민감하며 지식 기반인 응답 생성을 가능하게 한다.

ABSTRACT

In this work, we study how the finetuning stage in the pretrain-finetune framework changes the behavior of a pretrained neural language generator. We focus on the transformer encoder-decoder model for the open-domain dialogue response generation task. Our major finding is that after standard finetuning, the model forgets some of the important language generation skills acquired during large-scale pretraining. We demonstrate the forgetting phenomenon through a set of detailed behavior analysis from the perspectives of knowledge transfer, context sensitivity, and function space projection. As a preliminary attempt to alleviate the forgetting problem, we propose an intuitive finetuning strategy named "mix-review". We find that mix-review effectively regularizes the finetuning process, and the forgetting problem is alleviated to some extent. Finally, we discuss interesting behavior of the resulting dialogue model and its implications.

연구 동기 및 목표

• 사전학습-미세조정 프레임워크에서 표준적인 미세조정이 사전학습 기간 동안 습득한 중요한 언어 생성 기술을 대규모 언어 모델이 망각하는지 조사하기 위해.
• 미세조정이 지식 전이, 맥락 민감성, 기능 공간 투영 측면에서 모델 행동에 어떻게 영향을 미치는지 분석하기 위해.
• 표준적인 미세조정 이후 모델이 정보가 풍부하고 지식 기반인 응답을 생성하는 능력이 떨어지는지 평가하기 위해.
• 망각 문제를 완화하기 위해 새로운 미세조정 전략인 '믹스리뷰'를 제안하고 평가하기 위해.
• 망각이 개방형 대화 시스템에 미치는 영향, 특히 악성 프롬프팅에의 취약성과 데이터 기반 개인화의 잠재력에 대해 탐구하기 위해.

제안 방법

• 저자는 표준 교차 엔트로피 손실과 음의 로그우도 최적화를 사용하여 트랜스포저 모델을 개방형 대화 데이터셋에 대해 미세조정한다.
• 모델 행동 분석을 세 가지 차원에서 수행한다: 지식 전이(예: 일반 지식 질문에 대한 답변), 맥락 민감성(대화 턴 간 응답의 다양성), 기능 공간 투영(입력 표현이 출력 공간으로 어떻게 투영되는지).
• 믹스리뷰 전략은 사전학습 데이터와 타겟 대화 데이터를 고정 비율로 번갈아가며 미세조정하는 방식으로 최적화 과정을 정규화한다.
• 응답 다양성을 향상시키기 위해 빔 서치 대신 상위-k 샘플링(k=30)을 사용한다.
• 표준 평가 지표와 생성된 응답의 정성적 분석(10개 샘플에서 수거한 예시 포함)을 통해 성능을 평가한다.
• 모델은 DailyDialog 데이터셋에 대해 미세조정되며, 성능 저하 여부를 확인하기 위해 사전학습 데이터와 대화 데이터 양쪽에서 테스트된다.

실험 결과

연구 질문

• RQ1 사전학습-미세조정 프레임워크에서 표준적인 미세조정이 사전학습 기간 동안 습득한 언어 생성 기술에 대해 치명적인 망각을 유도하는가?
• RQ2 대화 데이터에 대해 미세조정한 후 모델의 사전학습 지식 전이 능력은 어느 정도 떨어지는가?
• RQ3 미세조정 후 모델의 대화 맥락에 대한 민감성은 어떻게 변화하며, 이는 응답 품질이나 안전성에 영향을 미치는가?
• RQ4 사전학습 데이터와 대화 데이터를 미세조정 중에 번갈아가며 사용하면 망각을 줄이고 유용한 생성 행동을 유지할 수 있는가?
• RQ5 지식 기반, 안전하고 개인화된 대화 에이전트를 구축하는 데 있어 망각의 영향은 무엇인가?

주요 결과

• 표준적인 미세조정 후 모델은 사전학습 데이터에서 상당한 성능 저하를 보이며, 일반 지식 질문에 대한 답변 및 사실 지식 검색과 같은 기술을 망각하고 있음을 시사한다.
• 미세조정된 모델은 사전학습 모델이 처리할 수 있었던 지식어(예: 'PhD', 'news')에 대해 세부적 또는 정보적인 응답을 생성하지 못해 지식 전이 능력 상실을 보여준다.
• 믹스리뷰 미세조정 전략은 사전학습 데이터에서의 성능 향상과 맥락 민감성 및 지식 검색 능력의 유지로 인해 망각을 효과적으로 줄임을 입증한다.
• 믹스리뷰로 훈련된 모델은 타겟 데이터셋이 지식 집약적이지 않더라도 더 다양한, 맥락에 적절하며 정보가 풍부한 응답을 생성한다. 이는 조언 제공 및 의견 표현 기능까지 포함된다.
• 믹스리뷰로 훈련된 모델은 대화 맥락에 더 민감해져, 타겟 데이터셋에 해당 내용이 포함되어 있지 않더라도 뉴스나 개인 조언과 같은 주제에 대해 다단계 상호작용을 가능하게 한다.
• 개선된 성능에도 불구하고 믹스리뷰 방법은 많은 경우 지루하거나 정보가 부족한 생성 결과를 내놓고 있어 향후 개선 여지가 있음을 시사한다.