[논문 리뷰] End-to-end Adversarial Learning for Generative Conversational Agents

Oswaldo Ludwig|arXiv (Cornell University)|2017. 11. 28.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 문맥 내에서 인간이 생성한 대화 토큰과 기계가 생성한 대화 토큰을 구분하는 토큰 수준의 판별자(Discriminator)를 사용하여 생성적 대화 에이전트(GCA)에 대해 엔드 투 엔드 적인 적대적 훈련 방법을 제안한다. 판별자에 대한 역전파를 가능하게 함으로써 응답의 품질과 다양성이 향상되며, 적대적 훈련을 통해 생성된 응답에 대해 인간의 선호도가 70.11%에 달하는 반면, 티처 포싱 기반 응답은 29.88%에 그치며, 인간 평가자와 적대적 평가 간의 재현율(Jaccard score)은 0.58을 기록한다.

ABSTRACT

This paper presents a new adversarial learning method for generative conversational agents (GCA) besides a new model of GCA. Similar to previous works on adversarial learning for dialogue generation, our method assumes the GCA as a generator that aims at fooling a discriminator that labels dialogues as human-generated or machine-generated; however, in our approach, the discriminator performs token-level classification, i.e. it indicates whether the current token was generated by humans or machines. To do so, the discriminator also receives the context utterances (the dialogue history) and the incomplete answer up to the current token as input. This new approach makes possible the end-to-end training by backpropagation. A self-conversation process enables to produce a set of generated data with more diversity for the adversarial training. This approach improves the performance on questions not related to the training data. Experimental results with human and adversarial evaluations show that the adversarial method yields significant performance gains over the usual teacher forcing training.

연구 동기 및 목표

• 티처 포싱 방식으로 훈련된 생성적 대화 에이전트에서 발생하는 일반적이고 다양성이 낮은 응답 문제를 해결하기 위해.
• 각 토큰이 인간이 생성한 것인지 기계가 생성한 것인지 분류하는 판별자를 통해 생성자와 판별자 간의 엔드 투 엔드 역전파를 가능하게 하여 응답의 품질과 다양성을 향상시키기 위해.
• 다양한 모델들 중에서 최상의 응답을 순위 매기고 선택할 수 있도록 훈련된 판별자를 개발하여 개별 훈련 수준을 초월한 성능 향상을 이루기 위해.
• 인코딩에 사용되는 대화 이력 턴 수를 동적으로 조정하여 문맥 유지 및 주제 전환 탐지 능력을 탐색하기 위해.

제안 방법

• 모델은 인코더가 대화 이력을 생각 벡터(thought vector)로 처리하는 시퀀스 투 시퀀스 아키텍처를 사용하며, 각 디코딩 단계에서 이를 업데이트하여 문맥을 유지한다.
• 판별자는 토큰 수준의 분류를 수행하며, 대화 이력과 부분적인 응답을 조건으로 하여 각 생성된 토큰이 인간이 생성한 것인지 기계가 생성한 것인지 판단한다.
• 판별자는 적대적 손실을 통해 훈련되며, 강화 학습을 사용하지 않고 표준 역전파를 통해 생성자와 판별자 양쪽에 대해 엔드 투 엔드 역전파를 수행한다.
• 자기 대화(self-conversation) 과정을 통해 다양한 훈련 데이터를 생성하여 도메인 외 질문에 대한 일반화 능력을 향상시킨다.
• 각 토큰에서 판별자의 출력을 기하 평균을 통해 점수로 변환하여 후보 응답을 순위 매기는 데 사용함으로써 선택 정확도를 향상시킨다.
• 표준 교차 엔트로피 손실과 판별자 점수의 기하 평균을 조합한 하이브리드 손실을 사용하여 어울림과 인간다움의 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 토큰 수준의 판별자가 역전파를 통해 생성적 대화 에이전트에서 엔드 투 엔드 적대적 훈련을 가능하게 할 수 있는가?
• RQ2 문맥 인지 판별자를 사용한 적대적 훈련이 티처 포싱 대비 응답의 품질과 다양성 향상에 기여하는가?
• RQ3 훈련된 판별자가 여러 모델 중에서 최상의 응답을 효과적으로 순위 매기고 선택할 수 있는가?
• RQ4 대화 이력 턴 수가 모델의 문맥 유지 및 주제 전환 처리 능력에 미치는 영향은 어떠한가?

주요 결과

• 적대적 훈련을 거친 모델은 직접 평가에서 70.11%의 인간 선호도를 기록하였으며, 이는 티처 포싱 방식이 받은 29.88%의 투표 수준을 크게 초월한다.
• 판별자의 기하 평균 점수(식 10)를 사용하여 응답을 순위 매긴 결과, 인간 평가와의 재현율(Jaccard index)이 0.58을 기록하여 인간 선호도와 적대적 점수 간의 강한 일치를 보였다.
• 적대적 모델은 총 570표(전체의 69.34%)를 확보한 반면, 티처 포싱 모델은 252표(30.66%)를 확보하여 더 높은 인식된 품질을 입증하였다.
• 적대적 학습을 통해 훈련된 판별자는 여러 모델 간 최상의 응답을 선택하는 데도 재사용 가능하며, 선택 기준으로 사용했을 때 61.96%의 투표를 확보하였다.
• N_u = 1일 경우 문맥 유지 기능에 실패하고, N_u > 2일 경우 주제 전환을 제대로 수행하지 못함을 확인하여, 동적 문맥 윈도우링이 필요함을 시사한다.