[논문 리뷰] Zero-Shot Dialog Generation with Cross-Domain Latent Actions

Tiancheng Zhao, Maxine Eskénazi|arXiv (Cornell University)|2018. 05. 13.

Topic Modeling참고 문헌 28인용 수 17

한 줄 요약

이 논문은 도메인 설명과 훈련 대화 없이도 새로운 도메인에서 응답을 생성할 수 있도록 하는 Zero-Shot Dialog Generation (ZSDG)를 제안한다. Action Matching (AM)을 도입하여 도메인 간 잠재 행동 공간을 학습함으로써 다양한 도메인 간 의미를 정렬하고, 합성 및 실제 대화 데이터셋에서 강력한 zero-shot 성능을 달성한다.

ABSTRACT

This paper introduces zero-shot dialog generation (ZSDG), as a step towards neural dialog systems that can instantly generalize to new situations with minimal data. ZSDG enables an end-to-end generative dialog system to generalize to a new domain for which only a domain description is provided and no training dialogs are available. Then a novel learning framework, Action Matching, is proposed. This algorithm can learn a cross-domain embedding space that models the semantics of dialog responses which, in turn, lets a neural dialog generation model generalize to new domains. We evaluate our methods on a new synthetic dialog dataset, and an existing human-human dialog dataset. Results show that our method has superior performance in learning dialog models that rapidly adapt their behavior to new domains and suggests promising future research.

연구 동기 및 목표

• 새로운 도메인에 대해 훈련 데이터가 부족하거나 가용하지 않을 때 발생하는 데이터 부족 문제를 해결한다.
• 최소한의 데이터로도 엔드 투 엔드 생성형 대화 모델이 새로운 도메인으로 일반화할 수 있도록 한다.
• 인간이 주석 처리한 대화 예제 대신 도메인 설명을 활용하여 빠른 적응을 가능하게 하는 방법을 개발한다.
• 도메인 간 의미 정렬을 사용하여 zero-shot 대화 생성을 학습 문제로 공식화한다.
• 광범위한 인간 주석 처리된 대화 데이터가 필요하지 않은 새로운 도메인에 대화 시스템을 구현하기 위한 실용적 프레임워크를 구축한다.

제안 방법

• 모델이 훈련 대화 없이 도메인 설명만으로도 새로운 도메인으로 일반화할 수 있도록 하는 새로운 학습 철학인 Zero-Shot Dialog Generation (ZSDG)를 제안한다.
• 다양한 도메인 간 공통의 잠재 행동 공간을 학습하여 대화 응답 의미를 정렬하는 새로운 알고리즘인 Action Matching (AM)을 도입한다.
• 소스 도메인과 타겟 도메인 간 공유되는 분포 잠재 행동을 생성하기 위해 대화 정책 네트워크를 사용한다.
• 어텐션과 복사 메커니즘을 갖춘 인코더-디코더 모델을 훈련하고, AM을 통해 새로운 도메인에서 새로운 문장을 생성하도록 강화한다.
• 다양한 훈련 데이터를 생성하고 ZSDG 성능을 평가하기 위해 합성 다중 도메인 대화 데이터셋인 SimDial을 활용한다.
• 시드 응답(SR)을 타겟 도메인의 한 형태의 도메인 설명으로 사용하며, SR 크기가 커질수록 성능 향상이 이루어진다.

실험 결과

연구 질문

• RQ1 도메인 설명 외에 훈련 대화가 전혀 없는 신규 도메인에서도 신경 대화 생성 모델이 일반화할 수 있는가?
• RQ2 Action Matching (AM) 프레임워크는 대화 응답 생성을 위한 도메인 간 의미 정렬을 얼마나 효과적으로 학습하는가?
• RQ3 도메인 설명으로 사용되는 시드 응답(SR)의 크기가 ZSDG 성능에 어떤 영향을 미치는가?
• RQ4 모델은 대화의 시작 부분에서 복사할 수 있는 컨텍스트가 없을 때도 새로운 문장을 생성할 수 있는가?
• RQ5 기본 모델 대비 어텐션과 복사 메커니즘을 갖춘 기존 방법들과 비교해 본다면, 제안된 방법은 zero-shot 환경에서 어떻게 성능을 내는가?

주요 결과

• +Copy+AM 모델은 SimDial의 새로운 영화 도메인에서 BLEU 점수 8.1을 기록하여 +Attn(4.8)과 +Copy(4.4)를 크게 앞서나간다.
• SMD 데이터셋에서 +Copy+AM는 미리보지 않은 영화 도메인에서 엔티티 F1 점수 31.0을 기록했으며, 오라클 성능 51.9에 가까워지고 있다.
• AM가 적용된 모델는 +Copy 기반 모델이 컨텍스트를 복사할 수 없어 실패하는 것과 달리, 대화의 시작 부분에서도 새로운 문장을 생성할 수 있다.
• SMD 스케줄 도메인에서의 성능은 시드 응답(SR)의 수가 증가함에 따라 향상되며, 100개의 SR이 200개의 SR에 비해 거의 최적의 성능을 달성한다.
• 정성적 분석 결과, 오직 AM로 훈련된 모델만이 기능적으로 유사한 응답(예: 'Movie 55 is a great movie' → 'Bus 55 can take you there')을 새로운 도메인으로 올바르게 일반화한다.
• Action Matching 프레임워크는 다양한 도메인 간 응답 간 의미 유사성을 추론할 수 있게 하여, 품사 어휘나 미리보지 않은 슬롯 값에 대해 정확하게 생성할 수 있도록 한다.