[논문 리뷰] Multimodal Dialogue State Tracking By QA Approach with Data Augmentation

Xiangyang Mou, Brandyn Sigouin외 2명|arXiv (Cornell University)|2020. 07. 20.

Multimodal Machine Learning Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 teacher forcing를 통해 훈련하는 다중모달 융합과 주의 메커니즘을 갖춘 순서에서 순서로 모델을 사용하여 오디오-비디오 시나리오 인식 대화(AVSD)를 위한 다중모달 오픈도메인 QA 프레임워크를 제안한다. 대화 기록 QA 쌍을 재배열하는 새로운 데이터 증강 기법을 도입하여 일반화 성능을 향상시켰으며, DSTC7-AVSD 데이터셋에서 기준 모델 대비 뚜렷한 성능 향상을 달성하였다.

ABSTRACT

Recently, a more challenging state tracking task, Audio-Video Scene-Aware Dialogue (AVSD), is catching an increasing amount of attention among researchers. Different from purely text-based dialogue state tracking, the dialogue in AVSD contains a sequence of question-answer pairs about a video and the final answer to the given question requires additional understanding of the video. This paper interprets the AVSD task from an open-domain Question Answering (QA) point of view and proposes a multimodal open-domain QA system to deal with the problem. The proposed QA system uses common encoder-decoder framework with multimodal fusion and attention. Teacher forcing is applied to train a natural language generator. We also propose a new data augmentation approach specifically under QA assumption. Our experiments show that our model and techniques bring significant improvements over the baseline model on the DSTC7-AVSD dataset and demonstrate the potentials of our data augmentation techniques.

연구 동기 및 목표

• 다양한 모달의 대화 상태 추적 문제를 오픈도메인 질의응답 문제로 재정의하여 AVSD 환경에서의 도전 과제를 해결하고자 한다.
• 생성된 응답의 시간적 의존성을 모델링하여 다중모달 대화에서 자연어 생성 품질을 향상시키고자 한다.
• 다중모달 환경에서 질문 응답을 수행할 때, 대화 기록의 내용이 순서보다 더 중요한가를 탐구하고자 한다.
• 대화 기록 내 QA 쌍의 순서를 뒤섞음으로써 훈련 데이터의 다양성을 증가시키는 데이터 증강 전략을 개발하고자 한다.
• teacher forcing와 풀링 기법이 응답 생성 품질 향상에 얼마나 효과적인지 평가하고자 한다.

제안 방법

• 다중모달 융합을 갖춘 인코더-디코더 아키텍처를 채택하여 시각적, 청각적, 텍스처적 인코딩을 결합해 공동 표현 학습을 수행한다.
• 대화 기록의 시퀀스 인코더로 양방향 GRU(BiGRUs)를 사용하며, 시간 단계를 통해 주요 특징을 추출하기 위해 최대 풀링(max pooling)을 적용한다.
• 자기회귀적 생성을 강제하기 위해 훈련 중 teacher forcing를 적용하며, 다음 단계 예측에 진짜 타겟 토큰을 입력으로 사용한다.
• 대화 기록 내 QA 쌍의 순서를 뒤섞음으로써 훈련 데이터의 다양성을 증가시키되, 의미적 내용은 유지하는 데이터 증강 기법을 도입한다.
• 비교 기준으로 스케줄드 샘플링을 사용했지만, 훈련 중 노이즈가 많은 예측으로 인해 teacher forcing보다 성능이 열 劣하다는 것을 발견하였다.
• 개선된 답변 생성을 위해 질문 표현과 다중모달 컨텍스트 표현 간의 정렬을 위해 교차 주의 메커니즘(cross-attention)을 적용한다.

실험 결과

연구 질문

• RQ1 대화 상태 추적을 QA 작업으로 모델링하면 다중모달 대화 이해 성능이 향상되는가?
• RQ2 대화 기록 내 QA 쌍의 순서는 정확한 답변 생성에 필수적인가, 아니면 내용 자체만으로도 충분한가?
• RQ3 teacher forcing는 다중모달 대화 시스템에서 생성된 응답의 유창성과 정확성을 향상시키는 데 얼마나 효과적인가?
• RQ4 대화 기록의 QA 쌍을 뒤섞는 방식의 데이터 증강이 다중모달 QA에서 측정 가능한 성능 향상에 기여하는가?
• RQ5 풀링 전략 조합(max vs. average)과 RNN 변종(BiGRU vs. BiLSTM)의 조합 중 어느 것이 가장 뛰어난 생성 품질을 낳는가?

주요 결과

• teacher forcing는 BLEU, CIDEr 등 모든 평가 지표에서 기준 모델 대비 30%에서 300%까지 성능 향상을 이끌었다.
• 최대 풀링이 평균 풀링보다 우수했으며, 대화 기록 전반의 주요 특징을 강조함으로써 BLEU와 CIDEr 점수를 뚜렷이 향상시켰다.
• QA 쌍을 뒤섞음으로써 데이터셋 크기를 2배로 증가시키는 본 논문의 제안된 데이터 증강 기법은 모델 성능 향상에 기여하였다.
• BiGRUs가 BiLSTMs와 유사한 성능을 보였으며, 이는 이 특정 설정에서 LSTMs가 GRUs보다 유의미한 이점이 없다는 것을 시사한다.
• 스케줄드 샘플링은 teacher forcing에 비해 성능 향상이 없었고, 훈련 중 노이즈가 많은 예측으로 인해 안정성 문제가 발생했다.
• teacher forcing 없이 CIDEr 점수는 0.224를 기록했으나, teacher forcing와 데이터 증강을 적용한 후 점수가 뚜렷이 향상되었다.