[논문 리뷰] MCQA: Multimodal Co-attention Based Network for Question Answering

Abhishek Kumar, Trisha Mittal외 1명|arXiv (Cornell University)|2020. 04. 25.

Multimodal Machine Learning Applications참고 문헌 28인용 수 11

한 줄 요약

MCQA는 비디오 기반 질의응답을 위한 다중모달 공주의 네트워크를 제안하며, 공주의 메커니즘을 사용해 텍스트, 오디오, 비디오 입력을 융합하고 정렬한다. Social-IQ 벤치마크에서 이전 최고 성능 기법 대비 4–7%의 정확도 향상을 달성하여 다중모달 맥락-질의 정렬 및 융합에서 뛰어난 성능을 입증한다.

ABSTRACT

We present MCQA, a learning-based algorithm for multimodal question answering. MCQA explicitly fuses and aligns the multimodal input (i.e. text, audio, and video), which forms the context for the query (question and answer). Our approach fuses and aligns the question and the answer within this context. Moreover, we use the notion of co-attention to perform cross-modal alignment and multimodal context-query alignment. Our context-query alignment module matches the relevant parts of the multimodal context and the query with each other and aligns them to improve the overall performance. We evaluate the performance of MCQA on Social-IQ, a benchmark dataset for multimodal question answering. We compare the performance of our algorithm with prior methods and observe an accuracy improvement of 4-7%.

연구 동기 및 목표

• 비구조적이고 실제 세계의 영상에서 인과적 추론이 필요한 다중모달 질의응답 문제에 도전한다.
• 이전 방법들이 인간 성능(64.82% 대비 95.08%)과 크게 뒤처지는 Social-IQ 벤치마크에서 성능을 향상시킨다.
• 텍스트, 오디오, 비디오의 세 모달리티를 효과적으로 융합하고 일관된 맥락으로 정렬하는 모델을 개발한다.
• 공주의 메커니즘을 사용해 교차모달 및 맥락-질의 정렬을 수행함으로써 답변 예측 성능을 향상시킨다.
• 감정적 또는 정서적인 언어의 영향을 모델 성능에 미치는 영향을 조사하고, 정서 이해의 한계를 규명한다.

제안 방법

• 텍스트에는 BERT 임베딩을, 오디오는 COVAREP 특징을, 비디오는 DenseNet161 특징을 사용하며, 모달리티 정렬을 위해 CMU-SDK를 활용한다.
• 입력 모달리티와 질의를 시퀀스 모델링하기 위해 양방향 LSTM(BiLSTM)을 적용한다.
• 공주의를 사용해 텍스트, 오디오, 비디오 특징을 융합하고 통합된 맥락 표현으로 정렬하는 다중모달 융합 및 정렬 모듈을 구현한다.
• 융합된 맥락을 질문과 소프트하게 정렬하는 다중모달 맥락-질의 정렬 모듈을 도입한다.
• 학습된 주의 가중치를 사용해 잠재 표현을 생성하고, 엔드 투 엔드 학습을 통해 최종 답변 예측을 수행한다.
• 공주의를 모달리티 융합뿐 아니라 질의-맥락 매칭에도 활용하여, 모델이 맥락의 관련 부분에 집중할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 공주의 메커니즘은 비스토리어, 실제 세계의 영상에서 텍스트, 오디오, 비디오의 세 개의 다른 모달리티를 질의응답에 효과적으로 정렬하고 융합할 수 있는가?
• RQ2 다중모달 맥락-질의 정렬은 표준 융합 방법에 비해 답변 예측 정확도를 얼마나 향상시키는가?
• RQ3 Social-IQ 데이터셋에서 복잡한 인과적 추론 질문에 대해 오디오 및 비디오 모달리티를 포함함으로써 성능 향상은 어느 정도 이루어지는가?
• RQ4 기존 모델들이 감정 어린 언어나 정서적으로 뉘앙스 있는 질문에서 어려움을 겪는 이유는 무엇이며, 공주의 기반 모델은 이를 완화할 수 있는가?
• RQ5 아블레이션 연구를 통해 다중모달 융합 및 맥락-질의 정렬의 각 구성 요소가 전체 모델 성능에 기여하는 정도는 어떠한가?

주요 결과

• MCQA는 Social-IQ 데이터셋에서 이전 최고 성능 기법 대비 4–7%의 정확도 향상을 달성하였으며, 특히 A2(2개 선택지) 및 A4(4개 선택지) 답변 선택 과제에서 두드러진 성능 향상을 보였다.
• 아블레이션 연구 결과, 다중모달 융합 및 정렬 구성 요소를 제거할 경우 정확도가 66.9%로 감소하여 이 구성 요소의 성능 향상에 핵심적인 역할을 함을 확인했다.
• 맥락-질의 정렬 모듈을 제거하면 정확도가 67.4%로 떨어지며, 이는 모델이 관련 맥락 부분에 집중하는 데 이 모듈의 중요성을 확인한다.
• MCQA와 베이스라인 모델 모두 감정 또는 정서 중심 언어를 포함한 질문에서 성능이 떨어지며, 이는 정서 이해 능력의 공통된 한계를 보여준다.
• 모델은 MovieQA 및 TVQA 데이터셋에서도 뛰어난 성능을 보이며, LMN, FVTA, MSM, TFN, MFN 등의 방법을 능가한다.
• 정성적 결과 분석에서 MCQA는 유사한 감정적 또는 맥락적 특성을 가진 오답 선택지가 존재하는 복잡한 사회적 상황에서도 정답을 올바르게 식별하는 데 성공했다.