[논문 리뷰] Modeling Semantic Composition with Syntactic Hypergraph for Video Question Answering

Zenan Xu, Wanjun Zhong외 3명|arXiv (Cornell University)|2022. 05. 13.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 의존 트리에서 심리적 초과그래프를 구성하고 최적 운반을 사용하여 희박하고 정확한 다중모달 정렬을 수행함으로써 비디오 질의응답에서 다수준 의미적 조합을 모델링하는 SCAN이라는 교차모달 인지적 문법 초과그래프 컨볼루션 네트워크를 제안한다. 이 방법은 세 가지 비디오 질의응답 벤치마크에서 강력한 기준 모델을 능가하며, 구성적 의미를 명시적으로 포착하고 노이즈를 걸러내는 데 성공한다.

ABSTRACT

A key challenge in video question answering is how to realize the cross-modal semantic alignment between textual concepts and corresponding visual objects. Existing methods mostly seek to align the word representations with the video regions. However, word representations are often not able to convey a complete description of textual concepts, which are in general described by the compositions of certain words. To address this issue, we propose to first build a syntactic dependency tree for each question with an off-the-shelf tool and use it to guide the extraction of meaningful word compositions. Based on the extracted compositions, a hypergraph is further built by viewing the words as nodes and the compositions as hyperedges. Hypergraph convolutional networks (HCN) are then employed to learn the initial representations of word compositions. Afterwards, an optimal transport based method is proposed to perform cross-modal semantic alignment for the textual and visual semantic space. To reflect the cross-modal influences, the cross-modal information is incorporated into the initial representations, leading to a model named cross-modality-aware syntactic HCN. Experimental results on three benchmarks show that our method outperforms all strong baselines. Further analyses demonstrate the effectiveness of each component, and show that our model is good at modeling different levels of semantic compositions and filtering out irrelevant information.

연구 동기 및 목표

• 비디오 질의응답에서 어절 수준의 정렬이 불완전한 개념(예: '초록색 옷을 입은 소녀' 또는 '앉아 있는 소녀')을 포착하지 못하는 한계를 해결하기 위해.
• 자연어 질의에서 다수준 의미적 조합(예: 어휘, 어구, 문장)을 문법적 의존 구조를 사용하여 모델링하기 위해.
• 초과그래프 컨volution 및 최적 운반을 활용하여 텍스트 개념과 시각적 객체 간의 교차모달 정렬을 향상시키기 위해.
• 초기 의미적 조합에 교차모달 정보를 통합하여 표현 학습을 향상시키기 위해.
• 심리적 초과그래프 모델링이 불필요한 시각적 및 텍스트 신호를 걸러내는 데 효과적인지 입증하기 위해.

제안 방법

• 의존 트리를 사용하여 각 질의에 대해 심리적 의존 트리를 구성하고, 의미 있는 어절 조합을 식별하기 위해 외부 NLP 도구를 사용한다.
• 어휘를 노드로, 문법적 부분수열(조합)을 초과간선으로 하는 심리적 초과그래프를 구축한다.
• 초과그래프 컨volution 네트워크(HCN)를 적용하여 이러한 의미적 조합의 초기 표현을 학습한다.
• 교차모달 인지 메커니즘을 도입하여 교차모달 정보를 사용해 텍스트 및 시각적 표현을 업데이트한다.
• 최적 운반(OT)을 사용하여 텍스트 조합과 시각적 특징 간의 희박하고 정확한 교차모달 정렬을 계산한다.
• 계층적 하향식 접근 방식을 사용하여 심리적 초과그래프를 구축함으로써 다양한 수준의 의미적 조합을 모델링할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 질의에서 다수준 의미적 조합을 모델링하면 비디오 질의응답 성능 향상에 기여하는가?
• RQ2 문법적 의존 트리를 사용하여 의미 있는 어절 조합을 추출하면 시각적 영역과의 정렬이 향상되는가?
• RQ3 초과그래프 컨볼루션 네트워크는 비디오 질의응답에서 구성적 텍스트 개념의 표현을 효과적으로 학습할 수 있는가?
• RQ4 최적 운반 기반 정렬은 내적 곱 주의 메커니즘보다 더 희박하고 정확한 교차모달 매칭을 제공하는가?
• RQ5 초기 표현에 교차모달 정보를 통합하면 모델의 강인성과 성능에 어떤 영향을 미치는가?

주요 결과

• SCAN은 세 가지 비디오 질의응답 벤치마크에서 최신 기준 성능을 달성하였다: MSVD-QA에서 40.3%, MSRVTT-QA에서 37.1%로 강력한 기준 모델을 능가하였다.
• 제거 실험 결과, 심리적 초과그래프 또는 교차모달 인지 모듈을 제거하면 성능이 크게 떨어지며, 이는 이 요소들이 중요한 역할을 한다는 것을 확인한다.
• HCN 레이어의 최적 수는 작업에 따라 다르며(예: Transition 및 FrameQA의 경우 l=2, Action의 경우 l=3), 이는 구성적 추론 깊이에 작업별 특수성이 있음을 시사한다.
• 정성적 분석 결과, SCAN은 어휘 수준뿐만 아니라 어구 및 문장 수준에서도 관련 비디오 프레임에 더 잘 정렬되며, 예를 들어 '골대에 들어가다'는 표현은 골결승 행동에 집중한다.
• 최적 운반 기반 정렬은 내적 곱 방법보다 더 희박한 주의 행렬을 생성하여 보다 집중적이고 정확한 교차모달 매칭을 이끌어낸다.
• BERT-large와 비교해도 SCAN은 뛰어난 성능을 기록하며, 사전 훈련된 문맥 임베딩을 넘어서 명시적인 문법적 조합 모델링이 가치가 있음을 입증한다.