[논문 리뷰] Multi-step Joint-Modality Attention Network for Scene-Aware Dialogue System

Yun-Wei Chu, Kuan-Yen Lin외 2명|arXiv (Cornell University)|2020. 01. 17.

Multimodal Machine Learning Applications참고 문헌 29인용 수 18

한 줄 요약

이 논문은 다단계 공동 모odal 주의망(JMAN)을 제안하여, 순환 신경망(RNN)을 사용해 다중 추론 단계에서 시각적 및 텍스트적 특징을 공동으로 주의하면서 시나리오 인식 대화 시스템을 향상시킨다. 모델은 DSTC8 AVSD 벤치마크에서 기준 모델 대비 CIDEr 점수에서 22.4% 상대적 향상과 ROUGE-L에서 12.1% 향상을 기록하여 영상 대화 작업에서 뛰어난 다중 모달 이해 및 응답 생성 능력을 입증한다.

ABSTRACT

Understanding dynamic scenes and dialogue contexts in order to converse with users has been challenging for multimodal dialogue systems. The 8-th Dialog System Technology Challenge (DSTC8) proposed an Audio Visual Scene-Aware Dialog (AVSD) task, which contains multiple modalities including audio, vision, and language, to evaluate how dialogue systems understand different modalities and response to users. In this paper, we proposed a multi-step joint-modality attention network (JMAN) based on recurrent neural network (RNN) to reason on videos. Our model performs a multi-step attention mechanism and jointly considers both visual and textual representations in each reasoning process to better integrate information from the two different modalities. Compared to the baseline released by AVSD organizers, our model achieves a relative 12.1% and 22.4% improvement over the baseline on ROUGE-L score and CIDEr score.

연구 동기 및 목표

• 음성, 시각, 텍스트 입력을 통합하여 동적 영상 대화 시스템에서의 다중 모달 이해 과제를 해결하기 위해 노력한다.
• 다중 모달에 걸쳐 순차적 추론을 모델링하여 장면 인식 대화에서 응답 생성 정확도를 향상시킨다.
• 복잡한 영상 이해를 위한 교차 모달 특징 통합에서 단일 단계 주의 메커니즘의 한계를 극복한다.
• 다중 추론 단계에 걸쳐 시각적 및 텍스트적 표현을 공동으로 주의하여 DSTC8 AVSD 벤치마크에서 모델 성능을 향상시킨다.
• 추론 깊이와 공동 모달 주의의 영향이 다중 모달 대화 생성 품질에 미치는 영향을 조사한다.

제안 방법

• 순환 신경망(RNN)을 사용해 영상 및 대화 특징에 대해 다단계 추론을 수행하여 주의의 渐진적 정교화를 가능하게 한다.
• 시각적 특징(RGB, 옵티컬 플로우)과 텍스트적 특징(캡션, 요약, 대화 이력)을 공동으로 주의하는 공동 모달 주의망(JMAN)을 도입한다.
• 각 추론 단계에서 모달별로 주의를 기반으로 한 특징(예: 텍스트용 $C_n$, $S_n$, 영상용 $V_n$)을 계산하고, 이를 공동 주의 특징 $T_n$ 및 $V_n$으로 통합한다.
• 각 단계에서 질문 임베딩을 관련 시각적 및 텍스트적 표현과 정렬하기 위해 교차 주의 메커니즘을 사용한다.
• 요소별 연결 및 전방향 신경망을 사용해 다중 모달에서 주의를 기반으로 한 특징을 통합하여 맥락 인식 표현을 생성한다.
• 응답 생성을 위한 교차 엔트로피 손실을 사용해 엔드 투 엔드 모델을 훈련시키며, 추론 시에는 빔 서치 디코딩을 사용한다.

실험 결과

연구 질문

• RQ1 단일 단계 주의와 비교해 다단계 추론은 영상 대화 시스템에서 다중 모달 이해에 어떻게 기여하는가?
• RQ2 복잡한 영상 이해에서 공동 모달 주의는 시각적 및 텍스트적 모달 간 특징 통합에 얼마나 기여하는가?
• RQ3 다중 모달 대화 생성에서 성능과 계산 비용의 균형을 고려할 때 최적의 추론 단계 수는 얼마인가?
• RQ4 다른 입력 모달(영상 특징, 캡션, 요약, 대화 이력)은 응답 생성 정확도에 어떻게 기여하는가?
• RQ5 다중 모달에 걸쳐 공동 주의를 적용하면 모달별 주의와 비교해 개방형 영상 질의 응답의 모호성을 줄일 수 있는가?

주요 결과

• 제안된 JMAN 모델은 DSTC8-AVSD 데이터셋에서 기준 모델 대비 CIDEr 점수에서 22.4% 상대적 향상을 기록했다.
• ROUGE-L 점수에서 12.1% 상대적 향상이 이루어져 더 우아한 응답과 더 나은 콘텐츠 커버리지가 가능함을 시사한다.
• 추론 단계가 늘어날수록 성능이 지속적으로 향상되었으며, 다섯 단계에서 최고 성능을 기록했고, 그 이상에서는 유의미한 향상이 없었다.
• 공동 모달 주의 메커니즘이 모델 이해 능력을 크게 향상시켜 더 정확한 답변 예를 들어 "그는 전체 시간 동안 앉아 있었습니다"와 같은 명확한 응답을 가능하게 했다.
• 정성적 분석 결과, 모델이 시간적 동적 변화와 물체의 지속성을 더 잘 추적하며 더 구체적이고 맥락에 부합하는 응답을 생성함을 확인했다.
• 최종 DSTC8 도전 대회 결과에서 주관적 및 객관적 평가 지표 양면에서 공식 기준 모델을 초월하는 성능을 보였다.