[논문 리뷰] From FiLM to Video: Multi-turn Question Answering with Multi-modal Context

Dat Tien Nguyen, Shikhar Sharma외 2명|arXiv (Cornell University)|2018. 12. 17.

Multimodal Machine Learning Applications참고 문헌 29인용 수 18

한 줄 요약

이 논문은 다중 전환 영상 질의 응답을 위한 계층적 인코더-디코더 모델인 FA-HRED을 제안한다. 이 모델은 FiLM 조건부 음성-시각 특징 추출 기법을 통해 시각, 청각, 텍스트적 맥락을 효과적으로 통합한다. FiLM 블록을 통해 현재 질문에 따라 I3D와 VGGish 특징을 조건화하고, 스케줄링 샘플링을 적용함으로써, AVSD 기준 모델 대비 BLEU-4에서 16% 상대적 향상과 CIDEr에서 33% 이상의 향상을 달성하여 대화 시스템 내 다중 모odal 맥락의 융합 능력이 뛰어남을 입증한다.

ABSTRACT

Understanding audio-visual content and the ability to have an informative conversation about it have both been challenging areas for intelligent systems. The Audio Visual Scene-aware Dialog (AVSD) challenge, organized as a track of the Dialog System Technology Challenge 7 (DSTC7), proposes a combined task, where a system has to answer questions pertaining to a video given a dialogue with previous question-answer pairs and the video itself. We propose for this task a hierarchical encoder-decoder model which computes a multi-modal embedding of the dialogue context. It first embeds the dialogue history using two LSTMs. We extract video and audio frames at regular intervals and compute semantic features using pre-trained I3D and VGGish models, respectively. Before summarizing both modalities into fixed-length vectors using LSTMs, we use FiLM blocks to condition them on the embeddings of the current question, which allows us to reduce the dimensionality considerably. Finally, we use an LSTM decoder that we train with scheduled sampling and evaluate using beam search. Compared to the modality-fusing baseline model released by the AVSD challenge organizers, our model achieves a relative improvements of more than 16%, scoring 0.36 BLEU-4 and more than 33%, scoring 0.997 CIDEr.

연구 동기 및 목표

• 다양한 모odal(시각, 청각, 텍스트) 맥락을 효과적으로 통합하여 다중 전환 영상 질의 응답의 과제를 해결하기 위해.
• 계층적 순환 네트워크를 활용해 대화 이력과 영상 맥락을 함께 모델링하여 AVSD 벤치마크에서 성능을 향상시키기 위해.
• FiLM 기반 특징 조건화를 통해 자원이 제한된 환경에서 과적합을 줄이고 모달 간 융합을 향상시키기 위해.
• 보조 영상 요약과 모달별 특징 추출의 대화 생성에 대한 효과를 평가하기 위해.

제안 방법

• 대화 이력을 질문과 답변에 대해 별도의 LSTM을 사용하는 계층적 인코더-디코더(HRED) 프레임워크를 적용한다.
• 정기적인 간격으로 영상 및 청각 특징을 추출하기 위해 사전 학습된 I3D와 VGGish 모델을 사용한다.
• 현재 질문 임bedding에 따라 영상 및 청각 특징을 조건화하기 위해 FiLM 블록을 적용하여 모달별, 질문 인식 특징 표현을 가능하게 한다.
• 다중 프레임에 걸친 시간적 영상 특징에 적합하도록 FiLM을 확장한 Time-Extended FiLM 모듈을 도입한다.
• 일반화 성능 향상을 위해 디코더 학습 시 스케줄링 샘플링을 사용하고, 추론 시에는 빔 서치를 적용한다.
• 후행 QA 작업을 위한 맥락 표현 향상을 위해 영상 요약 생성을 목표로 하는 보조 다중 작업 디코더를 포함한다.

실험 결과

연구 질문

• RQ1 현재 질문에 따라 음성-시각 특징을 효과적으로 조건화하여 영상 질의 응답 성능을 향상시킬 수 있는가?
• RQ2 다중 모달 융합에서 연결(concatenation)이나 평균화(averaging)에 비해 FiLM 기반 특징 조건화의 영향은 무엇인가?
• RQ3 스케줄링 샘플링은 다중 전환 영상 대화 시스템에서 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 텍스트 및 요약 신호에 비해 영상 및 청각 특징은 성능 향상에 얼마나 기여하는가?
• RQ5 보조 영상 요약은 다중 전환 영상 QA에서 답변 생성 품질을 향상시킬 수 있는가?

주요 결과

• 공식 AVSD 테스트 세트에서 FA-HRED 모델은 BLEU-4에서 16% 상대적 향상(0.36)과 CIDEr에서 33% 이상 향상(0.997)을 달성하여 기준 모델을 초월한다.
• FiLM을 통한 모달 조건화는 모든 설정에서 성능 향상을 일관되게 유도하며, 다양한 모달을 융합할 때 과적합을 감소시킨다.
• 영상 특징(I3D)는 청각 특징(VGGish)보다 더 뚜렷한 기여를 하며, 이는 시각 모달이 더 높은 정보 밀도를 지닌다는 것을 시사한다.
• 영상 요약을 사용하는 모델가 원본 이미지 수준의 설명을 사용하는 모델보다 성능이 뛰어나, 요약 신호가 대화에 있어 더 효과적임을 시사한다.
• 제거 실험 결과, FiLM을 사용해 텍스트, 영상, 요약 구성 요소를 융합한 모델가 가장 높은 성능(0.1052 BLEU-4)을 기록했으며, 비-FiLM 융합 모델(0.1007)을 능가함을 확인했다.
• 교사-강제 학습 대비 스케줄링 샘플링을 적용함으로써 검증 성능이 BLEU-4 기준 0.004 향상되어 시퀀스 생성에서 더 나은 일반화 능력을 보였다.