[논문 리뷰] Negative Training for Neural Dialogue Response Generation

Tianxing He, James Glass|arXiv (Cornell University)|2019. 03. 06.

Topic Modeling참고 문헌 30인용 수 5

한 줄 요약

이 논문은 사전 훈련된 대화 모델에서 악성 또는 일반적인 출력과 같은 바람직하지 않은 응답을 식별하고, 이러한 응답을 부정 신호로 사용하여 모델을 미세조정하는 이단계 프레임워크인 Negative Training을 제안한다. 이 방법은 악성 응답의 히트율을 크게 감소시키고 전반적인 응답 품질을 떨어뜨리지 않은 채 응답의 다양성을 향상시킨다.

ABSTRACT

Although deep learning models have brought tremendous advancements to the field of open-domain dialogue response generation, recent research results have revealed that the trained models have undesirable generation behaviors, such as malicious responses and generic (boring) responses. In this work, we propose a framework named "Negative Training" to minimize such behaviors. Given a trained model, the framework will first find generated samples that exhibit the undesirable behavior, and then use them to feed negative training signals for fine-tuning the model. Our experiments show that negative training can significantly reduce the hit rate of malicious responses, or discourage frequent responses and improve response diversity.

연구 동기 및 목표

• 사전 훈련된 신경 대화 응답 생성기에서 악성 또는 일반적인 응답을 생성하는 등의 바람직하지 않은 행동을 해결하기 위해.
• 문제적인 출력을 부정 예외로 간주하여 미세조정하기 위한 새로운 훈련 프레임워크인 Negative Training을 제안하기 위해.
• 유해하거나 반복적인 응답의 생성 가능성을 최소화하여 모델의 안전성과 응답 다양성을 향상시키기 위해.
• 부정 훈련이 응답 품질을 손상시키지 않으면서 모델의 행동을 수정할 수 있는지 평가하기 위해.
• 다른 표현 모델과 테스트 목록을 사용하여 부정 훈련의 일반화 및 증강 잠재력을 탐색하기 위해.

제안 방법

• 프레임워크는 사전 정의된 기준을 사용하여 사전 훈련된 모델의 입력-출력 쌍 중에서 악성 언어나 반복성과 같은 바람직하지 않은 행동을 보이는 것을 식별한다.
• 이러한 식별된 '나쁜' 응답은 부정 훈련 예외로 간주되며, 새로운 목적 함수를 사용하여 모델를 미세조정하는 데 사용된다.
• 부정 훈련 목적 함수는 바람직하지 않은 행동의 기대 위험을 최소화하며, 이는 E[x∼Ptest]E[y∼Pθ(y|x)]c(x,y)로 정의되며, c(x,y)=1이면 출력 y가 바람직하지 않다.
• 추론 시에는 탐욕적 디코딩을 사용하고, 표준 MLE 미세조정을 부정 예외와 함께 적용하여 향후 유사한 응답의 생성을 억제한다.
• 일반화 및 바람직하지 않은 행동의 커버리지 향상을 위해 부정 훈련 목록을 다른 표현 모델을 사용하여 증강한다.
• 자동 평가 지표와 인간 평가를 모두 사용하여, Ubuntu, Switchboard, OpenSubtitles 세 개의 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 부정 훈련은 신경 대화 시스템에서 악성 응답의 빈도를 효과적으로 줄일 수 있는가?
• RQ2 응답 품질을 유지하면서 부정 훈련은 일반적이거나 반복적인 응답의 발생을 줄일 수 있는가?
• RQ3 응답 다양성과 안전성 측면에서 부정 훈련은 표준 MLE 미세조정과 어떻게 비교되는가?
• RQ4 부정 훈련은 예상치 못한 입력으로 일반화될 수 있으며, 다른 표현 증강된 부정 예외와 함께 사용했을 때 얼마나 효과적인가?
• RQ5 부정 훈련은 생성된 응답의 전반적인 유창성 또는 논리성에 악영향을 미치는가?

주요 결과

• Ubuntu 데이터셋에서 부정 훈련은 악성 응답의 히트율을 기준선의 14.0%에서 21.3%로 감소시켜 안전성 향상에 상당한 기여를 했다.
• Switchboard 데이터셋에서는 악성 응답의 히트율이 18.3%에서 36.4%로 감소하여 다양한 도메인에서 일관된 향상이 확인되었다.
• 인간 평가 결과 응답 품질에 유의미한 악화가 없었으며, Ubuntu 데이터셋에서 64.6%의 응답이 기준선보다 선호되었다.
• 자동 평가 지표와 인간 평가 모두를 통해 이 방법이 빈번한 응답을 효과적으로 억제하고 응답 다양성을 향상시켰음을 확인했다.
• 부정 훈련 목록을 다른 표현 모델로 증강함으로써 방법의 일반화 능력과 효과성이 향상되었다.
• 부정 훈련은 GAN 기반 접근법과 상호보완적임을 입증했지만, 순수한 GAN만으로는 실험에서 성능이 열악했다.