[논문 리뷰] Data Distillation for Controlling Specificity in Dialogue Generation

Jiwei Li, Will Monroe외 1명|arXiv (Cornell University)|2017. 02. 22.

Topic Modeling참고 문헌 28인용 수 18

한 줄 요약

이 논문은 단일 데이터셋에서 특정성 수준이 다른 여러 대화 생성 모델을 훈련하기 위한 데이터 정련 기법을 제안한다. 이는 모델의 가장 흔한 출력에 가장 가까운 응답을 반복적으로 제거하는 방식이다. 이후 강화 학습(Reinforcement Learning, RL) 에이전트가 추론 시 가장 맥락에 적합한 모델을 선택함으로써, 기준 모델보다 더 높은 품질과 더 높은 맥락 민감도를 가진 응답을 생성한다.

ABSTRACT

People speak at different levels of specificity in different situations. Depending on their knowledge, interlocutors, mood, etc.} A conversational agent should have this ability and know when to be specific and when to be general. We propose an approach that gives a neural network--based conversational agent this ability. Our approach involves alternating between \emph{data distillation} and model training : removing training examples that are closest to the responses most commonly produced by the model trained from the last round and then retrain the model on the remaining dataset. Dialogue generation models trained with different degrees of data distillation manifest different levels of specificity. We then train a reinforcement learning system for selecting among this pool of generation models, to choose the best level of specificity for a given input. Compared to the original generative model trained without distillation, the proposed system is capable of generating more interesting and higher-quality responses, in addition to appropriately adjusting specificity depending on the context. Our research constitutes a specific case of a broader approach involving training multiple subsystems from a single dataset distinguished by differences in a specific property one wishes to model. We show that from such a set of subsystems, one can use reinforcement learning to build a system that tailors its output to different input contexts at test time.

연구 동기 및 목표

• 대화 에이전트가 맥락에 따라 응답의 특정성을 유연하게 조절할 수 있도록 하여 인간 대화 행동을 모방한다.
• 특정성에 대한 명시적 지도 없이 특정성 제어 가능한 모델을 훈련하는 데 도전한다.
• 수동으로 특정성 레이블을 부여하지 않고도 단일 데이터셋에서 특정성 수준의 스펙트럼을 생성하는 방법을 개발한다.
• 입력 맥락에 기반해 추론 시 최적의 특정성 수준을 동적으로 선택하기 위해 강화 학습을 활용한다.

제안 방법

• 데이터셋에서 순서-순서 모델을 반복적으로 훈련한 후, 모델의 가장 흔한 출력에 가장 의미적으로 가까운 응답을 제거한다.
• 각 라운드에서 훈련과 정련 과정을 반복하며, 이후 모델일수록 일반적인 응답이 제거됨에 따라 특정성이 높아진다.
• 원본 데이터의 점점 더 특정적인 부분집합으로 훈련된 생성 모델들의 풀을 구성하여 특정성의 스펙트럼을 형성한다.
• 강화 학습 에이전트를 훈련시켜 입력 맥락에 따라 풀에서 가장 적합한 모델을 선택하도록 하며, 응답 품질과 특정성 최적화를 목표로 한다.
• 인간 평가 및 적대적 메트릭을 사용하여 RL에 의해 선택된 모델을 기준 모델 및 개별 정련 모델과 비교한다.

실험 결과

연구 질문

• RQ1 반복적인 데이터 정련이 단일 데이터셋에서 점점 특정성이 높아지는 대화 생성 모델의 스펙트럼을 생성할 수 있는가?
• RQ2 강화 학습 에이전트가 추론 시 가장 맥락에 적합한 특정성 수준을 효과적으로 선택할 수 있는가?
• RQ3 정련 없이 훈련된 모델나 고정된 특정성 수준을 가진 모델보다 RL에 의해 선택된 모델이 더 높은 품질과 더 높은 다양성을 가진 응답을 생성하는가?
• RQ4 특정성 모델 선택이 모호성 또는 알 수 없는 단어가 포함된 입력 특성과 어떻게 관련이 있는가?

주요 결과

• 인간 평가를 통해 초기 라운드의 데이터 정련 모델(예: Iter2)이 전체 데이터셋 기반 기준 모델(Iter1)보다 더 높은 품질의 응답을 생성하는 것으로 확인되었다.
• 강화 학습 모델은 인간 평가에서 60%의 승률을 기록하여 Iter1 및 Iter2 모델 각각을 뛰어넘었다.
• 인간 평가에서 16%의 입력에 대해 RL 모델은 가장 특정성이 낮은 Iter1 모델을 선택했으며, 주로 입력이 모호하거나 모호한 경우였다.
• 입력이 명확하고 알 수 없는 단어가 많을 경우, RL 모델은 더 특정성 높은 모델(예: Iter3, Iter4)을 선호했으며, 이는 맥락 기반의 특정성 선택을 수행하고 있음을 시사한다.
• RL 모델은 8.8%의 적대적 성공률과 94.4%의 기계 대 랜덤 정확도를 기록하여, 기준 모델(5.8% 성공률)과 무작위 선택 모델보다 뛰어난 성능을 보였다.