[논문 리뷰] Teacher-Student Framework Enhanced Multi-domain Dialogue Generation

Shuke Peng, Xinjing Huang외 4명|arXiv (Cornell University)|2019. 08. 20.

Speech and dialogue systems참고 문헌 19인용 수 22

한 줄 요약

이 논문은 외부 상태 추적기 없이 도메인별 교사 모델에서 일반화된 학생 모델로 지식을 희석시키는 교사-학생 프레임워크를 제안한다. 학생 모델은 원시 텍스트에서 직접 응답을 생성하며, 추적기 오류 전파 없이 레이블이 붙은 의미 데이터를 통해 희석을 활용함으로써 뛰어난 성공률과 정보 제공률을 달성한다. 이는 수동 상태 주석을 사용하는 모델들과 동등하거나 이를 초월한다.

ABSTRACT

Dialogue systems dealing with multi-domain tasks are highly required. How to record the state remains a key problem in a task-oriented dialogue system. Normally we use human-defined features as dialogue states and apply a state tracker to extract these features. However, the performance of such a system is limited by the error propagation of a state tracker. In this paper, we propose a dialogue generation model that needs no external state trackers and still benefits from human-labeled semantic data. By using a teacher-student framework, several teacher models are firstly trained in their individual domains, learn dialogue policies from labeled states. And then the learned knowledge and experience are merged and transferred to a universal student model, which takes raw utterance as its input. Experiments show that the dialogue system trained under our framework outperforms the one uses a belief tracker.

연구 동기 및 목표

• 복잡한 고오르케스트라 시나리오에서 오류 전파 및 성능 저하 문제를 겪는 상태 추적기의 한계를 해결하기 위해.
• 수동으로 레이블이 붙은 의미 데이터를 훈련 중에 활용하면서도 입력으로 원시 텍스트만을 사용하는 엔드 투 엔드 대화 생성을 가능하게 하기 위해.
• 외부 믿음 추적기 의존 없이 다수의 도메인별 교사 모델로부터 대화 정책을 학습하고 일반화하는 통합 학생 모델을 개발하기 위해.
• 교사 모델에서 유닛화된 학생 아키텍처로 구조화된 지식을 전이함으로써 다중 도메인 환경에서 대화 성공률과 정보 제공률을 향상시키기 위해.

제안 방법

• 수동으로 레이블이 붙은 상태에서 도메인별로 특화된 교사 모델을 훈련하여 대화 정책과 인간 레이블 상태에서의 의미 표현을 학습한다.
• 지식 희석을 통해 교사 모델의 출력 분포 및 정책 결정을 단일 통합 학생 모델로 전이한다.
• 두 단계 희석을 적용한다: 출력 희석(응답 생성)과 정책 희석(행동/결정 안내), 핵심 정보를 유지하기 위해 top-k 토큰 선택 기법을 사용한다.
• 출력 희석(α₁ = 0.01)과 정책 희석(α₂ = 0.05)을 조합한 가중 손실를 최적화하여 응답 품질과 대화 정책 정확도 간 균형을 맞춘다.
• 학습 중에 원시 발화 문장에서만 입력을 받는 엔드 투 엔드 학습 방식을 적용하여 명시적 믿음 상태 추적기나 인간 정의한 슬롯 표현이 필요 없도록 한다.
• 평가를 위해 MultiWOZ 벤치마크를 사용하며, 다중 도메인 및 단일 도메인 설정에서 성공률, 정보 제공률, BLEU-4 점수를 측정한다.

실험 결과

연구 질문

• RQ1 외부 상태 추적기 없이 다수의 교사-학생 프레임워크가 도메인별 대화 지식을 통합 학생 모델로 효과적으로 전이할 수 있는가?
• RQ2 응답 출력과 대화 정책 결정을 모두 희석시키는 것이 단일 형태의 희석보다 대화 성공률과 정보 제공률을 향상시키는가?
• RQ3 top-k 희석의 선택이 성공률 및 정보 제공률 측면에서 학생 모델 성능에 어떤 영향을 미치는가?
• RQ4 인간이 정의한 상태 없이 훈련된 학생 모델이 외부 믿음 추적기를 사용하는 모델보다 다중 도메인 대화 생성에서 뛰어난 성능을 내는가?
• RQ5 개별 도메인별 특화 교사 모델이 레스토랑 예약과 같은 특정 도메인에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 HRED-TS 모델은 희석 없이 기반 HRED 모델 대비 성공률과 정보 제공률 각각 4% 향상되며, 외부 믿음 추적기를 사용하는 모델들을 능가한다.
• 레스토랑 도메인에서는 수동 상태 입력을 사용하는 모델조차도 HRED-TS 모델이 능가함으로써 전용 교사에서 유래한 강력한 도메인 특화 지식 전이 능력을 입증한다.
• top-k 희석에서 k=128일 때 최고의 성능을 기록했으며, k=1일 경우 비정상적인 결과를 보여, 지나치게 제한적인 희석이 지식 전이를 제한함을 시사한다.
• 출력 희석만으로는 가장 높은 정보 제공률를 기록하지만, 정책 및 출력 희석을 병행할 경우 성공률는 향상되나 정보 제공률는 약간 감소함으로써 정책 안내의 상호 갈등을 보여준다.
• 단일 통합 교사 모델을 사용한 희석은 개별 도메인별 교사 모델을 사용한 경우보다 성능이 열 劣하다. 이는 교사-학생 프레임워크에서 도메인 특화 지식의 유용성을 확인한다.
• GCE 상태 추적기 사용 모델은 수동 상태 입력 모델보다 높은 정보 제공률를 기록했지만, 이는 레이블링 시 도메인 간 간섭 때문이며, 성능 향상의 결과는 아님을 시사한다.