[논문 리뷰] Pre-Trained and Attention-Based Neural Networks for Building Noetic Task-Oriented Dialogue Systems

Jia-Chen Gu, Tianda Li외 4명|arXiv (Cornell University)|2020. 04. 04.

Topic Modeling참고 문헌 32인용 수 13

한 줄 요약

이 논문은 BERT와 새로운 적응 기법을 사용하여 다중 전환 작업 지향 대화 시스템에 적합한 사전 훈련된 어텐션 기반 신경망을 제안한다. DSTC 8 트랙 2의 네 가지 하위 작업에서 최고 성능을 기록하여 하위 작업 3과 4에서 1위, 하위 작업 2에서 3위, 하위 작업 1에서 4위를 기록했으며, 추상화 분석을 통해 사전 훈련, 스위치 임베딩, 분리 전략의 효과를 확인하였다.

ABSTRACT

The NOESIS II challenge, as the Track 2 of the 8th Dialogue System Technology Challenges (DSTC 8), is the extension of DSTC 7. This track incorporates new elements that are vital for the creation of a deployed task-oriented dialogue system. This paper describes our systems that are evaluated on all subtasks under this challenge. We study the problem of employing pre-trained attention-based network for multi-turn dialogue systems. Meanwhile, several adaptation methods are proposed to adapt the pre-trained language models for multi-turn dialogue systems, in order to keep the intrinsic property of dialogue systems. In the released evaluation results of Track 2 of DSTC 8, our proposed models ranked fourth in subtask 1, third in subtask 2, and first in subtask 3 and subtask 4 respectively.

연구 동기 및 목표

• 복잡한 다중 전환 작업 지향 대화 시스템을 위한 효과적인 사전 훈련된 어텐션 기반 신경망을 개발하는 것.
• 실세계 대화 시스템에서 다자 대화, 대화 성공 예측, 대화 분리 문제에 도전하는 것.
• BERT와 같은 사전 훈련된 언어 모델을 적응시켜 내재된 대화 특성을 유지하면서도 대화 전용 작업에서 성능을 향상시키는 것.
• DSTC 8 트랙 2의 모든 하위 작업에서 제안된 모델을 평가하는 것 — 응답 선택, 다중 대화 분리, 성공 예측, 대화 분할을 포함함.

제안 방법

• 대화 맥락과 응답 후보를 인코딩하기 위해 BERT를 기본 아키텍처로 채택한다.
• 다중 전환 대화에서 화자 신원과 턴 동역학을 모델링하기 위해 스위치 임베딩을 도입한다.
• 다양한 동시 대화를 처리하기 위해 별도의 대화 스트림을 분리하고 처리하는 분리 전략을 적용한다.
• DSTC 8 데이터셋 외부의 대화 데이터로 사전 훈련을 수행하여 맥락 표현 학습을 강화한다.
• 모델 평균화와 확률 평균화를 통한 앙상블 학습을 활용해 견고성과 성능을 향상시킨다.
• 다양화된 데이터 증강 기법과 가중치 손실 함수를 사용하여 하위 작업 3에서 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 BERT와 같은 사전 훈련된 언어 모델이 복잡한 대화 구조를 가진 다중 전환 작업 지향 대화 시스템에 효과적으로 적응되는 방법은 무엇인가?
• RQ2 화자 인식 임베딩과 분리 메커니즘이 다중 대화 및 다자 대화 설정에서 성능에 미치는 영향은 무엇인가?
• RQ3 외부 대화 데이터로 사전 훈련을 수행할 경우, 대화 이해 작업에서 제로샷 또는 피셔샷 성능 향상 정도는 어느 정도인가?
• RQ4 스위치 임베딩과 분리 전략과 같은 아키텍처 구성 요소가 다양한 대화 하위 작업에서 모델 성능에 미치는 영향은 무엇인가?
• RQ5 강력한 사전 훈련된 모델과 결합할 때 수동 특징과 손실 함수 수정이 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 모델은 하위 작업 3(대화 성공 예측)과 하위 작업 4(대화 분할)에서 가장 높은 순위를 기록하여 각각 1위를 차지하였다.
• 하위 작업 1(응답 선택)에서는 4위를 기록하였으며, Recall@1이 0.638로 강력한 검색 성능를 보였다.
• 하위 작업 2(다중 대화 분리)에서는 3위를 기록하였고, Recall@1이 0.477이었으며, 추상화 분석을 통해 분리 전략이 성능 향상에 필수적임을 확인하였다.
• 추상화 분석 결과, 사전 훈련을 제거할 경우 Recall@1이 1.6% 감소하였고, 스위치 임베딩을 추가함으로써 0.6% 향상되었다.
• 확률 평균화를 사용한 앙상블 모델이 다른 평균화 전략보다 우수했으며, 하위 작업 4에서 1-Scaled VI가 0.947, F1이 0.534를 기록하였다.
• BERT를 사용함에도 불구하고 하위 작업 4에서 F1이 46.3%에 그쳐, 대화 분리 문제가 여전히 도전 과제로 남아 있음을 시사한다.