[논문 리뷰] Dialog System Technology Challenge 7

Koichiro Yoshino, Chiori Hori외 15명|arXiv (Cornell University)|2019. 01. 11.

Multimodal Machine Learning Applications참고 문헌 28인용 수 27

한 줄 요약

이 논문은 제7회 대화 시스템 기술 챌린지(DSTC7)를 제시하며, 문장 선택, 지식 기반 문장 생성, 오디오-비주얼 시나리오 인식 대화의 세 가지 신규 트랙을 도입한다. 인간-인간 대화 데이터셋에서 종단간 모델을 평가하여 계층적 어텐션과 다중모달 융합을 사용해 최신 기술 수준의 성능을 달성하였으며, 최상의 시스템은 베이스라인 대비 인간 평가 응답 품질을 22% 향상시켰다.

ABSTRACT

This paper introduces the Seventh Dialog System Technology Challenges (DSTC), which use shared datasets to explore the problem of building dialog systems. Recently, end-to-end dialog modeling approaches have been applied to various dialog tasks. The seventh DSTC (DSTC7) focuses on developing technologies related to end-to-end dialog systems for (1) sentence selection, (2) sentence generation and (3) audio visual scene aware dialog. This paper summarizes the overall setup and results of DSTC7, including detailed descriptions of the different tracks and provided datasets. We also describe overall trends in the submitted systems and the key results. Each track introduced new datasets and participants achieved impressive results using state-of-the-art end-to-end technologies.

연구 동기 및 목표

• 기존의 임무 중심 대화를 넘어서 현실적이고 복잡한 과제를 도입함으로써 종단간 대화 시스템의 발전을 도모한다.
• 확장 가능한 후보 집합과 다양한 어색한 표현 변형을 포함한 인간-인간 대화 맥락에서의 응답 선택을 평가한다.
• 외부 지식에 기반한 다양한, 맥락에 부합하는 응답을 생성할 수 있는 지식 기반 응답 생성 모델을 개발한다.
• 시각 정보와 언어 정보를 활용하여 동적인 영상 콘텐츠에 대해 맥락적으로 정확한 응답을 생성할 수 있는 종단간 오디오-비주얼 대화 시스템을 구축한다.
• 미래의 대화 시스템 연구를 위해 여러 모odal과 과제를 포함한 대규모 공개 기준을 마련한다.

제안 방법

• 100개에서 120,000개의 후보 응답(포함된 어색한 표현 및 null 옵션 포함)을 포함한 다중 하위 과제를 통해 응답 생성을 문장 선택 과제로 재정의한다.
• 대화 기록, 질문 및 시각적 특징에 대해 LSTM 기반 인코더를 사용하고, 텍스트 및 영상 입력을 융합하기 위해 계층적 어텐션 기법을 적용한다.
• 다중모달 어텐션 기법(예: Libovickỳ & Helcl, 2017; Lu et al., 2016)을 적용하여 시각적 및 언어적 특징을 함께 인코딩하여 응답 생성에 활용한다.
• 교차 엔트로피 손실를 사용하여 GRU, BLSTM, LSTM 아키텍처를 활용해 텍스트 및 영상 특징 모두에 대해 종단간 모델을 훈련한다.
• 비디오 질문 응답(VQA) 및 영상 기반 기술 기법을 통합된 다중모달 대화 프레임워크에 통합한다.
• 자연스러움, 정보성, 정확성에 대해 5점 척도로 인간 평가를 수행하고, 자동 평가 지표(BLEU, METEOR, ROUGE-L, CIDEr)를 함께 평가한다.

실험 결과

연구 질문

• RQ1 대규모 후보 집합을 가진 오픈 도메인 인간-인간 대화 맥락에서 종단간 모델이 정확한 응답을 얼마나 잘 순위 매길 수 있는가?
• RQ2 지식 기반 응답 생성 모델은 대화 외의 맥락에서 다양하고 맥락에 부합하며 정보적인 응답을 생성할 수 있는가?
• RQ3 다중모달 모델은 얼마나 잘 시각적 신호와 언어적 신호를 융합하여 동적인 영상 콘텐츠에 대한 정확하고 시나리오 인식 대화 응답을 생성할 수 있는가?
• RQ4 계층적 어텐션 및 공통 어텐션 기법은 영상 대화 시스템에서 다중모달 이해 및 응답 생성을 얼마나 향상시키는가?
• RQ5 복잡한 다중모달 과제에서 자동 평가 지표와 인간 평가 간의 격차는 어느 정도인가?

주요 결과

• 오디오-비주얼 시나리오 인식 대화(AVSD) 트랙에서 최상의 시스템은 인간 평가 점수 3.491을 기록하여, 베이스라인 시스템의 점수 2.848보다 22% 향상되었다.
• 최상의 시스템은 CIDEr 점수 1.094를 기록하여, 베이스라인의 0.746보다 유의미하게 높아 인간 기반 기준 응답과의 일치도가 높았다.
• 최상의 시스템은 계층적 어텐션 및 공통 어텐션 기법을 사용해 텍스트 및 시각적 특징을 융합하여, 단순한 RNN 기반 모델보다 뛰어난 성능을 보였다.
• 인간 평가 결과, BLEU-4 및 METEOR와 같은 자동 평가 지표는 인간 평가와 중간 정도의 상관관계를 보였지만, 단독으로 품질을 예측하는 데에는 충분하지 않았다.
• 문장 선택 트랙은 모델이 대규모 후보 집합(최대 120,000개 후보)에서도 정확한 응답을 효과적으로 순위 매길 수 있음을 보여주었으며, 하위 과제 전반에서 뛰어난 성능을 보였다.
• 문장 생성 트랙은 외부 지식을 통합한 지식 기반 모델이 기반 채팅 모델보다 더 정보가 풍부하고 맥락에 부합하는 응답을 생성함을 드러내었다.