[논문 리뷰] Multi-domain Neural Network Language Generation for Spoken Dialogue Systems

Tsung-Hsien Wen, Milica Gašić외 5명|arXiv (Cornell University)|2016. 03. 03.

Topic Modeling참고 문헌 31인용 수 16

한 줄 요약

이 논문은 데이터 위조 및 판별적 훈련을 활용하여 효율적인 도메인 적응을 가능하게 하는 다중 도메인 신경망 언어 생성 프레임워크를 제안한다. 먼저 도메인 외 데이터셋에서 생성된 합성 데이터로 사전 훈련한 후, 소량의 도메인 내 데이터를 사용하여 판별적 목적 함수를 통해 미세 조정함으로써, 데이터 요구량을 줄이고도 경쟁적인 BLEU 점수와 슬롯 오류율을 달성한다. 인간 평가를 통해 단지 목표 도메인 데이터의 10%만으로도 자연스럽고 정보량이 풍부한 출력을 얻을 수 있음을 확인하였다.

ABSTRACT

Moving from limited-domain natural language generation (NLG) to open domain is difficult because the number of semantic input combinations grows exponentially with the number of domains. Therefore, it is important to leverage existing resources and exploit similarities between domains to facilitate domain adaptation. In this paper, we propose a procedure to train multi-domain, Recurrent Neural Network-based (RNN) language generators via multiple adaptation steps. In this procedure, a model is first trained on counterfeited data synthesised from an out-of-domain dataset, and then fine tuned on a small set of in-domain utterances with a discriminative objective function. Corpus-based evaluation results show that the proposed procedure can achieve competitive performance in terms of BLEU score and slot error rate while significantly reducing the data needed to train generators in new, unseen domains. In subjective testing, human judges confirm that the procedure greatly improves generator performance when only a small amount of data is available in the domain.

연구 동기 및 목표

• 새로운, 알려지지 않은 대화 도메인의 신경 언어 생성기 훈련에서 데이터 부족 문제를 해결하기 위해.
• 효과적인 언어 생성기를 훈련하기 위해 대규모 애너테이션된 도메인 내 데이터에 의존하는 것을 줄이기 위해.
• 두 단계 훈련 절차를 통해 저자원 도메인 적응 환경에서의 일반화 및 성능 향상을 위해.
• 자동 평가 지표와 인간 평가를 모두 활용하여 제안된 방법의 효과성을 평가하기 위해.

제안 방법

• 도메인 외 언어 모델을 적용하여 도메인 내 대화 액션에서 유사어를 생성함으로써 위조된 훈련 데이터를 합성한다.
• 위조된 합성 데이터를 기반으로 시퀀스-투-시퀀스 RNN 기반 언어 생성기를 사전 훈련하여 도메인에 관계없는 기본 모델을 구축한다.
• 소량의 실제 도메인 내 데이터를 사용하여 BLEU와 같은 직접 최적화 목표 함수를 갖는 판별적 훈련 방식으로 사전 훈련된 모델을 미세 조정한다.
• BLEU와 슬롯 오류율과 같은 원하는 평가 지표를 직접 최대화하고 오차를 최소화하는 판별적 목적 함수를 사용하여 생성기를 최적화한다.
• 다양한 도메인(예: 노트북, TV, 레스토랑, 호텔)에 동일한 적응 레시피를 적용하여 일반화 능력을 입증한다.
• AMT 기반 인간 평가를 통해 자연스러움, 정보량, 다양한 데이터 및 훈련 전략을 가진 시스템 간의 상대적 선호도를 평가한다.

실험 결과

연구 질문

• RQ1 도메인 외 데이터셋에서 생성된 합성 데이터로 사전 훈련한 신경 언어 생성기가 새로운 저자원 대상 도메인으로 효과적으로 일반화될 수 있는가?
• RQ2 소량의 도메인 내 데이터만 존재할 경우, 판별적 미세 조정 방식이 표준 최대우도 훈련 방식보다 어떻게 다를까?
• RQ3 제안된 두 단계 적응 절차가 자동 평가 지표(BLEU, 슬롯 오류율)와 인간 평가 기반 품질(자연스러움, 정보량)을 모두 향상시키는가?
• RQ4 목표 도메인 데이터의 10%만으로도 전체 데이터 훈련 성능과 비교할 수 있는 성능을 달성할 수 있는가?
• RQ5 저자원 환경에서 인간 평가자들이 판별적 훈련 방식을 최대우도 훈련 방식보다 선호하는가?

주요 결과

• 제안된 방법은 전체 도메인 내 데이터셋의 10%로도 경쟁적인 BLEU 점수와 슬롯 오류율을 달성하였으며, 제한된 데이터로 처음부터 훈련하는 것보다 뚜렷이 뛰어난 성능을 보였다.
• 목표 도메인 데이터의 10%만 사용했을 때도 인간 평가자들은 판별적 미세 조정 모델(DT-10%)이 최대우도 훈련 모델(ML-10%)보다 자연스럽고 정보량이 풍부하다고 평가하였다.
• 노트북에서 TV로의 적응 시나리오에서 DT-10% 모델의 정보량 점수는 전체 데이터 기반 베이스라인(scrALL)과 통계적으로 구분되지 않았으며, 자원 부족 상황에서도 높은 품질의 생성을 보였다.
• 선호도 테스트 결과, DT-10%는 ML-10%보다 55.1%의 비교에서 선호되었으며(p < 0.005), 10% 데이터로 처음부터 훈련한 모델보다는 66.1%에서 선호되었으며(p < 0.005), 인간의 선호가 판별적 접근에 의해 뒷받침됨을 확인하였다.
• 자동 평가와 주관적 평가를 모두 통해, 효과적인 도메인 적응을 위한 데이터 요구량을 크게 줄였으며 높은 성능을 유지함을 입증하였다.
• 이 적응 레시피는 네 가지 다른 대화 도메인에 걸쳐 일반화되었으며, 도메인 이동에 대한 강건성과 일반화 능력을 입증하였다.