[논문 리뷰] A Joint Sequence Fusion Model for Video Question Answering and Retrieval

Youngjae Yu, Jong-Seok Kim외 1명|arXiv (Cornell University)|2018. 08. 07.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 영상과 언어와 같은 다중모odal 시계열 데이터 간의 의미 유사도를 측정하기 위해 공동 의미 텐서(Joint Semantic Tensor, JST)를 사용하여 조밀한 쌍별 표현을 생성하고, 컨볼루션 히에라르키컬 디코더(Convolutional Hierarchical Decoder, CHD)를 통해 주의 메커니즘을 이용해 히에라르키컬한 정렬을 발견하는 공동 시퀀스 퓌전 모델인 JSFusion을 제안한다. 이 모델은 LSMDC 및 MSR-VTT 데이터셋에서 영상 질의 응답 및 검색 작업에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present an approach named JSFusion (Joint Sequence Fusion) that can measure semantic similarity between any pairs of multimodal sequence data (e.g. a video clip and a language sentence). Our multimodal matching network consists of two key components. First, the Joint Semantic Tensor composes a dense pairwise representation of two sequence data into a 3D tensor. Then, the Convolutional Hierarchical Decoder computes their similarity score by discovering hidden hierarchical matches between the two sequence modalities. Both modules leverage hierarchical attention mechanisms that learn to promote well-matched representation patterns while prune out misaligned ones in a bottom-up manner. Although the JSFusion is a universal model to be applicable to any multimodal sequence data, this work focuses on video-language tasks including multimodal retrieval and video QA. We evaluate the JSFusion model in three retrieval and VQA tasks in LSMDC, for which our model achieves the best performance reported so far. We also perform multiple-choice and movie retrieval tasks for the MSR-VTT dataset, on which our approach outperforms many state-of-the-art methods.

연구 동기 및 목표

• 영상과 자연어 문장과 같은 다중모달 시계열 데이터 간의 미세한 의미 유사도를 측정하는 데 도전하는 것.
• 영상의 하위 이벤트와 언어 기술서의 어휘 조합 간에 히에라르키컬한 매칭을 가능하게 하여 단일 벡터 임베딩의 한계를 극복하는 것.
• 지표 파싱이나 세그멘테이션을 필요로 하지 않는 통합적이고 유연한 프레임워크를 개발하여 영상 질의 응답 및 검색 작업에 적용하는 것.
• 엔드 투 엔드로 학습 가능한 주의 메커니즘을 사용하여 기존 방법보다 다중모달 검색 및 영상 QA 벤치마크에서 승리하는 것.

제안 방법

• 공동 의미 텐서(Joint Semantic Tensor, JST)는 히드라드 곱을 사용하여 영상 프레임과 언어 단어 간의 조밀한 쌍별 임베딩을 3차원 텐서로 구성하며, 히에라르키컬 주의를 통해 정제된다.
• 컨볼루션 히에라르키컬 디코더(Convolutional Hierarchical Decoder, CHD)는 학습 가능한 게이트를 가진 컨볼루션 레이어를 적용하여 JST 텐서에서 局소 정렬과 히에라르키컬한 조합 표현을 탐색한다.
• JST와 CHD는 모두 하향식 주의 메커니즘을 사용하여 잘 매칭된 패tern을 촉진하고 잘못 매칭된 것을 억제한다.
• JST 처리 이전에 영상 및 언어 시계열을 모두 BLSTM 인코더로 처리하여 장거리 의존성을 포착한다.
• 최종 유사도 점수는 CHD에 의해 계산되며, 이는 히에라르키컬한 매칭을 하나의 매칭 점수로 요약한다.
• 검색 작업에는 대비 손실을, QA 작업에는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 공동 시퀀스 퓌전 모델이 영상 및 언어 시계열 간의 히에라르키컬 의미 매칭을 효과적으로 포착할 수 있는가?
• RQ2 3차원 공동 텐서와 히에라르키컬 디코딩을 사용할 경우, 단일 벡터 임베딩에 비해 영상-언어 매칭 작업 성능이 향상되는가?
• RQ3 JST와 CHD 내 주의 메커니즘이 더 나은 정렬과 잘못 매칭된 표현의 정제에 어떻게 기여하는가?
• RQ4 제안된 모델은 다중 선택 QA 및 검색을 포함한 다양한 영상-언어 작업에 일반화될 수 있는가?
• RQ5 각 구성 요소(예: 주의, 컨볼루션, 풀링)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• JSFusion은 LSMDC의 세 가지 과제인 다중 선택 테스트, 영화 검색, 빈칸 채우기 과제에서 이전 방법들에 비해 뚜렷한 격차를 확보하며 보고된 바 가장 우수한 성능을 달성한다.
• MSR-VTT 데이터셋에서 JSFusion은 다중 선택 QA 및 영화 검색 과제에서 많은 최신 기술 수준 모델들을 능가하며, 다양한 영상 콘텐츠에 걸쳐 강력한 일반화 능력을 보여준다.
• 제거 실험 결과, CHD의 컨볼루션 레이어와 게이트를 제거할 경우 정확도와 리콜률이 각각 4.1~5.7% 감소함을 확인하여, 이 요소들이 핵심적인 역할을 한다는 것을 입증한다.
• 오디오 입력이 없는 모델은 전체 모델에 비해 약간 낮은 성능을 보이며, 이는 시각적 및 언어적 특징이 성능의 주요 결정 요소임을 시사한다.
• 정성적 분석 결과, JSFusion은 전체 문장의 맥락을 효과적으로 활용하고 관련 있는 시각적 하위 이벤트에 집중하지만, 때로는 미묘한 시각적 신호(예: 표정)나 어순의 미묘한 차이를 잘못 인식하는 경우가 있다.