[논문 리뷰] Gaining Extra Supervision via Multi-task learning for Multi-Modal Video Question Answering

Jun-Yeong Kim, Minuk Ma외 3명|arXiv (Cornell University)|2019. 05. 28.

Multimodal Machine Learning Applications참고 문헌 40인용 수 4

한 줄 요약

이 논문은 다중 모odal 비디오 질의 응답에 대한 다중 작업 학습 프레임워크를 제안하며, 시간적 국소화와 모odal 통합을 두 가지 보조 작업으로 함께 훈련시켜 추가적인 감독 신호를 확보한다. 계층적인 특징 공유와 커리큘럼 학습을 영감으로 삼은 다중 작업 비율 스케줄링을 통해, TVQA 벤치마크에서 67.05%의 최신 기술 수준(SoA) 성능을 달성하여 상호보완적 학습 신호를 통한 뚜렷한 성능 향상을 입증한다.

ABSTRACT

This paper proposes a method to gain extra supervision via multi-task learning for multi-modal video question answering. Multi-modal video question answering is an important task that aims at the joint understanding of vision and language. However, establishing large scale dataset for multi-modal video question answering is expensive and the existing benchmarks are relatively small to provide sufficient supervision. To overcome this challenge, this paper proposes a multi-task learning method which is composed of three main components: (1) multi-modal video question answering network that answers the question based on the both video and subtitle feature, (2) temporal retrieval network that predicts the time in the video clip where the question was generated from and (3) modality alignment network that solves metric learning problem to find correct association of video and subtitle modalities. By simultaneously solving related auxiliary tasks with hierarchically shared intermediate layers, the extra synergistic supervisions are provided. Motivated by curriculum learning, multi task ratio scheduling is proposed to learn easier task earlier to set inductive bias at the beginning of the training. The experiments on publicly available dataset TVQA shows state-of-the-art results, and ablation studies are conducted to prove the statistical validity.

연구 동기 및 목표

• 기존의 다중 모달 비디오 질의 응답 벤치마크에서의 제한된 감독 문제를 해결하기 위해, 효과적인 딥 러닝을 위해 충분한 데이터가 부족하다는 점을 다루기 위해.
• 추가적인 감독 신호를 제공하는 보조 작업을 활용하여 비디오 질의 응답 성능을 향상시키기 위해.
• 주 QA 작업과 두 가지 보조 작업인 모달 통합 및 시간적 국소화 간에 계층적으로 특징을 공유하는 다중 작업 학습 프레임워크를 설계하기 위해.
• 초기 훈련 단계에서 더 쉬운 작업을 우선시하여 인덕티브 바이어스를 설정하는 커리큘럼 학습을 영감으로 삼은 다중 작업 비율 스케줄링을 도입하기 위해.
• TVQA 데이터셋에서의 추론적 검증과 최신 기술 수준 결과를 통해 제안된 방법의 효과성을 실증적으로 검증하기 위해.

제안 방법

• 이 방법은 비디오 및 자막 특징을 융합하여 질문에 답하는 다중 모달 비디오 질의 응답 네트워크를 사용한다.
• 질문에 해당하는 비디오 클립 내의 관련 순간을 예측하는 시간적 검색 네트워크를 도입하며, 이는 QA 네트워크와 고차원 특징을 공유한다.
• 모달 통합 네트워크는 메트릭 학습 문제를 해결하여 비디오와 자막 특징의 정확한 쌍을 이루도록 하며, QA 네트워크와 저차원 특징을 공유한다.
• 모델은 계층적 파rameter 공유를 사용한다: 모달 통합은 초기 레이어를 공유하고, 시간적 국소화는 QA 네트워크와 깊은 레이어를 공유한다.
• 다중 작업 비율 스케줄링을 적용하여 훈련 목표 비율을 제어하며, 초기 단계에서 더 쉬운 작업(모달 통합)을 우선시하여 학습을 이끌어낸다.
• 주 QA 작업과 두 가지 보조 작업을 균형 잡힌 손실 함수로 통합하여 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 시간적 국소화와 모달 통합과 같은 보조 작업이 다중 모달 비디오 질의 응답 성능 향상에 기여할 수 있는가?
• RQ2 계층적 특징 공유를 통한 다중 작업 학습이 주 QA 작업을 강화하는 상호보완적 감독 신호를 제공하는가?
• RQ3 커리큘럼 유사 다중 작업 비율 스케줄링을 통해 초기에 더 쉬운 작업을 우선시함으로써 훈련 안정성과 성능 향상을 개선할 수 있는가?
• RQ4 제안된 방법의 성능는 TVQA 벤치마크에서 기존 최신 기술 수준 모델과 비교해 어떻게 되는가?
• RQ5 각 보조 작업(모달 통합 대비 시간적 국소화)이 전체 성능 향상에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 제안된 방법은 시각적 개념 특징을 사용하여 TVQA 데이터셋에서 최신 기술 수준 67.05%의 테스트 정확도를 달성하며, 이는 이전 최고 성능 모델보다 1.59%p 높은 성능이다.
• 자막 전용 모델(S+Q)은 64.63%의 정확도를 기록하며, ImageNet 특징을 사용한 TVQA S+V+Q 베이스라인(63.57%)을 초월하여 추가 감독의 효과를 입증한다.
• 제거 실험 결과, 시간적 국소화와 모달 통합 모두 긍정적인 기여를 하며, 특히 모달 통합이 시간적 국소화보다 더 큰 성능 향상을 제공하는 것으로 나타났다.
• 시각적 개념 특징과 두 보조 작업을 모두 포함한 전체 모델은 검증 정확도 66.22%를 기록하며, 베이스라인 QA 모델보다 0.85%p 높은 성능을 보였다.
• 다중 작업 비율 스케줄링은 초기에 인덕티브 바이어스를 설정함으로써 훈련 동역학을 향상시켰으며, 제거 실험 설정 전반에서 일관된 성능 향상을 입증했다.
• 결과적으로, 철저히 설계된 보조 작업을 통한 다중 작업 학습은 낮은 감독 환경에서도 성능 향상에 크게 기여할 수 있음을 확인했다.