[논문 리뷰] Dynamic Fusion Network for Multi-Domain End-to-end Task-Oriented Dialog

Libo Qin, Xu Xiao외 3명|arXiv (Cornell University)|2020. 04. 23.

Speech and dialogue systems참고 문헌 18인용 수 8

한 줄 요약

이 논문은 다중 도메인 엔드 투 엔드 작업 지향 대화 시스템을 위한 동적 융합 네트워크(DF-Net)를 제안하며, 공유-개별 아키텍처를 활용하여 공유 도메인 지식과 비공유 도메인 지식을 명시적으로 모델링하고, 동적 융합 메커니즘을 통해 개선합니다. 이 방법은 학습 가능한 게이트를 통해 도메인 간 유사성을 자동으로 학습하여, 자원이 제한된 도메인에서 성능을 크게 향상시킵니다. 훈련 데이터가 제한된 상황에서 이전 최고 성능(SOTA) 모델 대비 평균 13.9% 향상된 성과를 달성합니다.

ABSTRACT

Recent studies have shown remarkable success in end-to-end task-oriented dialog system. However, most neural models rely on large training data, which are only available for a certain number of task domains, such as navigation and scheduling. This makes it difficult to scalable for a new domain with limited labeled data. However, there has been relatively little research on how to effectively use data from all domains to improve the performance of each domain and also unseen domains. To this end, we investigate methods that can make explicit use of domain knowledge and introduce a shared-private network to learn shared and specific knowledge. In addition, we propose a novel Dynamic Fusion Network (DF-Net) which automatically exploit the relevance between the target domain and each domain. Results show that our model outperforms existing methods on multi-domain dialogue, giving the state-of-the-art in the literature. Besides, with little training data, we show its transferability by outperforming prior best model by 13.9\% on average.

연구 동기 및 목표

• 엔드 투 엔드 작업 지향 대화 시스템에서 자원이 제한된 도메인에 대한 적응 문제를 해결하기 위해.
• 일반화 성능 향상을 위해 다수의 도메인 간 공유 지식과 비공유 지식을 명시적으로 모델링하기 위해.
• 지식 전이를 위해 도메인 간 세밀한 유사성을 동적으로 캡처할 수 있는 메커니즘을 개발하기 위해.
• 관련된 소스 도메인의 지식을 활용하여 미리 보지 못한 도메인 또는 자원이 제한된 도메인에서 모델 성능을 향상시키기 위해.
• 제한된 훈련 데이터로도 기존 방법들을 능가하는 성능을 달성하기 위해.

제안 방법

• 모델은 도메인 공유 및 도메인 특화 특징을 별도로 학습하기 위해 공유-개별 네트워크 아키텍처를 사용합니다.
• 동적 융합 모듈은 각 타겟 도메인에 적합한 소스 도메인 특징을 적응적으로 선택하기 위해 게이트 메커니즘을 사용하여 어텐션 가중치를 계산합니다.
• 동적 융합 메커니즘은 인코더 및 디코더뿐 아니라 지식 베이스(KB) 특징 검색을 위한 메모리 모듈에도 적용됩니다.
• 공유 모듈이 진정으로 도메인 공유 표현을 생성하도록 유도하기 위해 적대적 훈련을 사용합니다.
• 도메인 특화 지식을 조합하면서도 유사성 기반의 동적 융합을 허용하는 모미스-오브-익스퍼트(MoE) 기반 메커니즘을 활용합니다.
• 응답 생성과 지식 기반 설정을 공동 최적화하는 방식으로 다중 도메인 대화 데이터셋에서 엔드 투 엔드로 훈련됩니다.

실험 결과

연구 질문

• RQ1 다중 도메인 엔드 투 엔드 작업 지향 대화에서 도메인 공유 및 도메인 특화 지식을 효과적으로 모델링할 수 있는 방법은 무엇인가요?
• RQ2 동적 융합 메커니즘이 자원이 풍부한 도메인에서 자원이 제한된 도메인으로 지식 전이를 향상시킬 수 있나요?
• RQ3 자원이 제한된 환경에서 도메인 간 유사성이 모델 성능에 미치는 영향은 무엇인가요?
• RQ4 최소한의 레이블 데이터로도 새로운 도메인에 일반화할 수 있나요?
• RQ5 세밀한 도메인 상관관계 모델링이 응답 품질과 정확성에 미치는 영향은 무엇인가요?

주요 결과

• 제안된 DF-Net은 SMD 및 MultiWOZ 2.1 벤치마크에서 최고 성능을 기록합니다.
• 내비게이션 도메인의 훈련 데이터를 5%로 제한했을 때도, 이전 최고 성능 모델 대비 평균 13.9% 향상된 성과를 달성합니다.
• 전문가 게이트 메커니즘은 내비게이션 작업에서 일정, 날씨 도메인보다 더 관련성이 높은 도메인에 더 높은 가중치를 할당합니다.
• 사례 연구를 통해 모델이 의미적으로 유사한 도메인, 예를 들어 내비게이션과 스케줄링 도메인의 '위치'와 '설정' 간 지식 전이를 성공적으로 수행함을 확인했습니다.
• 인간 평가 결과, 모델은 정확성, 유창성, 인간다움 측면에서 GLMP를 능가하며, 5점 척도에서 평균 점수 4.0 이상을 기록했습니다.
• 세밀한 도메인 상관관계를 활용하여 새로운 도메인에 대해 제로샷 및 피셔샷 적응 능력을 보여주었습니다.