[논문 리뷰] Don't Say That! Making Inconsistent Dialogue Unlikely with Unlikelihood Training

Margaret Li, Stephen Roller외 5명|arXiv (Cornell University)|2019. 11. 10.

Topic Modeling참고 문헌 27인용 수 20

한 줄 요약

이 논문은 생성적 대화 모델에서 논리적 일관성을 향상시키기 위해 훈련 중에 일관되지 않거나 모순되는 출력을 처벌하는 불가능도 훈련(unlikelihood training)을 제안한다. 자동 통계와 NLI 기반의 감독을 사용하여 반복, 문맥 복사, 과도한 어휘 사용, 의미적 모순을 탐지하고 억제함으로써, 흔들림 없는 일관성과 낮은 퍼플렉서티를 유지하면서도 일관성 향상에 기여한다. 표준 MLE 대비 중립적 응답에 대해 선택 정확도가 18%에서 78%로 향상되었다.

ABSTRACT

Generative dialogue models currently suffer from a number of problems which standard maximum likelihood training does not address. They tend to produce generations that (i) rely too much on copying from the context, (ii) contain repetitions within utterances, (iii) overuse frequent words, and (iv) at a deeper level, contain logical flaws. In this work we show how all of these problems can be addressed by extending the recently introduced unlikelihood loss (Welleck et al., 2019) to these cases. We show that appropriate loss functions which regularize generated outputs to match human distributions are effective for the first three issues. For the last important general issue, we show applying unlikelihood to collected data of what a model should not do is effective for improving logical consistency, potentially paving the way to generative models with greater reasoning ability. We demonstrate the efficacy of our approach across several dialogue tasks.

연구 동기 및 목표

• 최대우도 훈련이 달성할 수 있는 것 이상의 논리적 일관성 결함과 혼란을 해결하기 위해.
• 반복, 빈도 높은 단어의 과도한 사용, 과도한 문맥 복사 등 생성 모델의 일반적인 열화 행동을 완화하기 위해.
• 자연어 추론(NLI) 데이터에서 유도된 감독 신호를 통해 모순되거나 일관되지 않은 응답이 일어나지 않도록 하여 모델의 추론 능력을 향상시키기 위해.
• 대화 생성에서 발생하는 여러 실패 유형에 일반화 가능한 통합된 불가능도 프레임워크를 개발하기 위해.
• 단일 발화 및 전체 대화 일관성 작업 모두에서 불가능도 훈련의 효과를 평가하기 위해.

제안 방법

• 각 디코딩 단계에서 부정적 후보 집합을 정의하여 불가능도 손실을 대화 생성에 확장함으로써 바람직하지 않은 출력을 처벌한다.
• 내 발화 내 반복, 문맥 복사, 빈도 높은 어휘의 과도한 사용이라는 세 가지 유형의 분포 불일치를 제어하기 위해 불가능도를 적용한다.
• 표준 최대우도 손실과 불가능도 손실을 조합한 혼합 목표 함수를 사용하며, 두 손실 간의 균형을 맞추기 위해 학습 가능한 하이퍼파rameter α를 사용한다.
• 기존의 NLI 데이터셋을 활용하여 훈련 중에 모순되거나 일관되지 않은 응답을 탐지하고 처벌한다.
• 골드 표준 완성본 뿐만 아니라 피팅 훈련 중에 모델이 생성한 시퀀스에도 불가능도 목표를 적용하여 논리적 결함을 수정한다.
• 대화 응답 생성과 NLI 스타일 감독을 사용한 모순 탐지 작업을 동시에 학습하는 다중 작업 설정을 구현한다.

실험 결과

연구 질문

• RQ1 불가능도 훈련은 대화 생성에서 반복과 빈도 높은 단어의 과도한 사용을 효과적으로 줄일 수 있는가?
• RQ2 불가능도 훈련은 대화 문맥에서의 복사 의존도를 줄일 수 있는가?
• RQ3 불가능도 훈련은 모순되는 응답이 일어나지 않도록 만들어서 논리적 일관성을 향상시킬 수 있는가?
• RQ4 불가능도 기반 훈련은 일관된 대비 모순되는 응답에 대해 퍼플렉서티와 선택 정확도에 어떤 영향을 미치는가?
• RQ5 불가능도 프레임워크는 개방형 대화에서 추론과 일관성을 향상시키는 데 일반화될 수 있는가?

주요 결과

• 불가능도 훈련을 받은 모델은 두 발화 작업에서 모순되는 응답에 대한 퍼플렉서티를 MLE 기준 12.5에서 248.9로 낮춰, 비일관된 출력에 대한 강력한 차별화 능력을 보였다.
• 두 발화 작업에서 중립적 응답에 대한 선택 정확도는 MLE 기준 18%에서 78%로 상승하여, 일관된 응답과 비일관된 응답을 구별하는 능력이 향상됨을 입증했다.
• 전체 대화 작업에서는 비모순 응답에 대한 선택 정확도가 37.4%에서 69.8%로 상승하여 실제 대화 환경에서의 견고한 성능을 보였다.
• 모델은 낮은 전체 퍼플렉서티(표준 MLE 기준 11.4, 불가능도 피팅 훈련 후 최소한의 열화)를 유지하여 어법성과의 상충관계 없이도 성능을 유지했다.
• 불가능도 프레임워크는 반복, 문맥 복사, 빈도 높은 어휘의 과도한 사용을 효과적으로 완화하여 인간의 응답 통계와 모델 출력 간의 일치도를 높였다.
• 구조적 변경 없이도 손실 함수 수정과 NLI 데이터에서 유도된 추가 감독만으로도 논리적 일관성에 측정 가능한 향상이 있었으며, 이는 모델의 성능 향상에 기여했다.