[논문 리뷰] Learning a Matching Model with Co-teaching for Multi-turn Response Selection in Retrieval-based Dialogue Systems

Jiazhan Feng, Chongyang Tao외 4명|arXiv (Cornell University)|2019. 06. 11.

Topic Modeling참고 문헌 37인용 수 7

한 줄 요약

이 논문은 두 개의 매칭 모델을 공동으로 훈련시켜 노이즈가 있는 훈련 데이터를 교정함으로써 검색 기반 대화 시스템에서 응답 선택 성능을 향상시키는 공강학습 프레임워크를 제안한다. 각 모델은 서로의 선생과 학생 역할을 동시에 수행한다. 이 방법은 DAM 및 SMN과 같은 최신 모델들보다 P@1에서 최대 3.2%p의 절대적 향상을 이룩한다.

ABSTRACT

We study learning of a matching model for response selection in retrieval-based dialogue systems. The problem is equally important with designing the architecture of a model, but is less explored in existing literature. To learn a robust matching model from noisy training data, we propose a general co-teaching framework with three specific teaching strategies that cover both teaching with loss functions and teaching with data curriculum. Under the framework, we simultaneously learn two matching models with independent training sets. In each iteration, one model transfers the knowledge learned from its training set to the other model, and at the same time receives the guide from the other model on how to overcome noise in training. Through being both a teacher and a student, the two models learn from each other and get improved together. Evaluation results on two public data sets indicate that the proposed learning approach can generally and significantly improve the performance of existing matching models.

연구 동기 및 목표

• 랜덤으로 샘플링된 응답이 종종 잘못된 음성 예외(가짜 음성)를 포함하는 검색 기반 대화 시스템에서 노이즈가 있는 음성 훈련 예제 문제를 해결한다.
• 기존 매칭 모델의 아키텍처를 재설계하지 않고도 일반화 성능을 향상시키며, 아키텍처 혁신이 아닌 학습 전략에 중점을 둔다.
• 노이즈가 있는 레이블로 인해 발생하는 훈련과 테스트 성능 간 격차를 완화하는 강건한 학습 프레임워크를 개발한다.
• SMN 및 DAM과 같은 다양한 모델 아키텍처와 데이터셋(Douban 및 E-commerce)에 걸쳐 제안된 방법의 효과성을 입증한다.
• 동료 모델의 동적 특성과 가르침 전략이 노이즈가 있는 레이블 환경에서 학습 성능에 미치는 영향을 조사한다.

제안 방법

• 데이터 유출을 방지하기 위해 두 개의 독립적이고 동일한 분포(i.i.d.)의 훈련 세트에서 동일하거나 다른 매칭 모델을 훈련시킨다.
• 각 모델이 동료 모델의 소프트 예측 결과를 가짜 레이블로 사용하여 훈련을 이끌고 노이즈가 있는 예제를 걸러내는 공강학습 루프를 구현한다.
• 세 가지 가르침 전략을 적용한다: (1) 동적 마진 가르침, (2) 손실 함수를 통한 동적 인스턴스 가중치 부여, (3) 예제 선택을 통한 동적 데이터 커리큘럼.
• 동적 마진 가르침에서는 모델들이 신뢰도 임계값을 사용해 저신뢰도 예측을 걸러내고 손실 함수를 재가중한다.
• 동적 인스턴스 가중치 부여에서는 동료 모델이 높은 신뢰도로 예측한 예제에 더 높은 가중치를 할당한다.
• 동적 데이터 커리큘럼에서는 동료 모델의 성능에 따라 예제를 선택하고 우선순위를 정하여 점차 난이도를 높인다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 레이블로 인해 발생하는 훈련과 테스트 성능 간 격차를 효과적으로 줄일 수 있는 공강학습 프레임워크가 가능한가?
• RQ2 다양한 가르침 전략(동적 마진, 인스턴스 가중치, 데이터 커리큘럼)이 모델 성능과 강건성에 어떤 영향을 미치는가?
• RQ3 공강학습은 다양한 매칭 모델(SMN 및 DAM)과 데이터셋(Douban 및 E-commerce)에 일반화되는가?
• RQ4 훈련 과정에서 상호 가르침 과정은 어떻게 진화하며, 동료 모델의 품질은 학습에 어떤 역할을 하는가?
• RQ5 다중턴 응답 선택 환경에서 기존의 약한 지도 학습 또는 커리큘럼 학습 방법보다 공강학습이 성능 면에서 뛰어나게 작용하는가?

주요 결과

• 동적 마진을 사용한 공강학습은 Douban 데이터셋에서 SMN에 대해 P@1 기준 2.8%p, DAM에 대해 2.5%p의 절대적 향상을 이룩했다.
• E-commerce 데이터셋에서는 동적 데이터 커리큘럼을 사용한 공강학습이 SMN에 대해 2.4%p, DAM에 대해 3.2%p의 절대적 향상을 달성했다.
• 공강학습 프레임워크는 두 데이터셋 및 모든 평가 지표(MAP, MRR, P@1)에서 일관되게 성능 향상을 이룩했다.
• 특히 Douban 데이터셋에서 기존의 약한 지도 학습 방법보다 뛰어난 성능을 보였으며, 동일한 양성 대 음성 비율 조건 하에서 이전 연구보다 더 큰 향상을 기록했다.
• 동료 모델들은 상호 보완적으로 발전함: 더 높은 품질의 모델이 낮은 품질의 모델을 이끌었고, 상호 교정을 통해 함께 향상되었다.
• 다양한 아키텍처에 걸쳐 잘 일반화되었으며, 기반 모델의 종류에 관계없이 공강학습이 효과적이라는 점을 입증했다.