[논문 리뷰] Jointly Cross- and Self-Modal Graph Attention Network for Query-Based Moment Localization

Daizong Liu, Xiaoye Qu외 4명|arXiv (Cornell University)|2020. 08. 04.

Multimodal Machine Learning Applications참고 문헌 48인용 수 11

한 줄 요약

이 논문은 활동 캡션 및 TACoS 데이터셋에서 질의 기반 영상 순간 국지화를 위한 새로운 그래프 신경망인 CSMGAN을 제안한다. 크로스모달 및 세ลม오달 관계를 동시에 모델링함으로써, 이중 그래프 아키텍처와 크로스모달 및 세ลม오달 어텐션 메커니즘을 활용하여 영상 프레임과 질의 단어 간의 고차원 상호작용을 포착하며, 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Query-based moment localization is a new task that localizes the best matched segment in an untrimmed video according to a given sentence query. In this localization task, one should pay more attention to thoroughly mine visual and linguistic information. To this end, we propose a novel Cross- and Self-Modal Graph Attention Network (CSMGAN) that recasts this task as a process of iterative messages passing over a joint graph. Specifically, the joint graph consists of Cross-Modal interaction Graph (CMG) and Self-Modal relation Graph (SMG), where frames and words are represented as nodes, and the relations between cross- and self-modal node pairs are described by an attention mechanism. Through parametric message passing, CMG highlights relevant instances across video and sentence, and then SMG models the pairwise relation inside each modality for frame (word) correlating. With multiple layers of such a joint graph, our CSMGAN is able to effectively capture high-order interactions between two modalities, thus enabling a further precise localization. Besides, to better comprehend the contextual details in the query, we develop a hierarchical sentence encoder to enhance the query understanding. Extensive experiments on four public datasets demonstrate the effectiveness of our proposed model, and GCSMAN significantly outperforms the state-of-the-arts.

연구 동기 및 목표

• 자연어 질의를 기반으로 한 트림되지 않은 영상에서 짧고 관련 있는 영상 세그먼트를 국지화하는 과제를 해결한다.
• 기존 방법들이 크로스모달 어텐션 또는 세ลม오달 모델링을 별도로만 고려하는 데서 비롯되는 한계를 극복한다.
• 크로스모달 관련성과 내모달 순차적 의존성을 동시에 모델링하여 정밀한 국지화를 향상시킨다.
• 보다 나은 문맥 의미를 포착하기 위해 계층적 문장 인코더를 통해 질의 이해를 향상시킨다.
• 영상 프레임과 질의 단어의 공동 그래프를 기반으로 메시지 전파를 수행하는 통합형 엔드 투 엔드 프레임워크를 개발한다.

제안 방법

• 영상 프레임과 단어를 노드로 하는 두 개의 하위그래프인 크로스모달 관계 그래프(CMG)와 세ลม오달 관계 그래프(SMG)를 포함하는 공동 그래프를 구축한다.
• CMG에서 이질적 어텐션 메커니즘을 사용하여 각 단어와 프레임 간의 방향성 있는 쌍별 관계를 모델링함으로써 크로스모달 메시지 전파를 수행한다.
• SMG에서 자기어텐션을 적용하여 내모달 관계—즉, 영상 프레임 간 및 단어 간의 쌍별 상관관계—를 모델링하여 순차적 및 문맥적 의존성을 포착한다.
• 다중 층의 공동 그래프를 스택하여 반복적으로 메시지 전파를 수행함으로써 다중 모odal 간의 고차원 상호작용 학습을 가능하게 한다.
• 단어를 구문으로, 그 다음 문장으로 처리하는 계층적 문장 인코더를 통합하여 문맥 이해를 풍부하게 한다.
• 양쪽 그래프의 이웃 노드로부터 온 메시지를 융합하는 학습 가능한 집합 메커니즘(예: ConvGRU)을 통해 노드 표현을 업데이트한다.

실험 결과

연구 질문

• RQ1 크로스모달 및 세ลม오달 관계를 동시에 모델링하면 트림되지 않은 영상에서 순간 국지화의 정밀도가 향상되는가?
• RQ2 영상 및 언어 모달리티 내에서 세ลม오달 관계를 통합할 경우 경계 국지화 및 문맥 이해에 어떤 영향을 미치는가?
• RQ3 계층적 문장 인코딩 전략이 모델이 복잡한 질의를 정확히 기반화하는 데 얼마나 기여하는가?
• RQ4 메시지 전파 과정에서 표현의 풍부함과 과도한 스무딩 간의 균형을 고려할 때 최적의 그래프 층 수는 얼마인가?
• RQ5 CMG 및 SMG 하위그래프의 어텐션 가중치가 실제 예시에서 의미 있는 의미적 및 공간적 관계를 어떻게 반영하는가?

주요 결과

• CSMGAN의 전체 모델은 활동 캡션 및 TACoS 데이터셋에서 모두 최신 기술 수준의 성능을 달성하며, 기존의 SOTA 방법을 능가한다.
• 제거 실험 결과, 크로스모달 및 세ลม오달 그래프(CSG 제거) 또는 계층적 문장 인코더(HS 제거)를 제거할 경우 성능이 크게 떨어지며, 이는 각 구성 요소의 핵심적 역할을 확인한다.
• 모델는 두 층의 그래프에서 최적의 성능을 달성한다. 두 층을 초과하여 층 수를 늘릴 경우 과도한 스무딩이 발생하여 성능이 저하된다.
• 어텐션 가중치의 시각화 결과, CMG가 주목할 만한 영상 세그먼트에 해당하는 단어-프레임 쌍(예: 'begins', 'brushing')을 효과적으로 강조함을 확인할 수 있다.
• SMG의 자기어텐션은 시각적으로 유사하지만 의미적으로 관련 없는 프레임에 낮은 가중치를 할당하여 경계 프레임과 세그먼트 프레임을 성공적으로 구분한다.
• 모델는 강건성을 보이며, 모든 제거 변형 버전이 이전의 SOTA 방법을 초월함으로써 개별 구성 요소를 뛰어넘는 프레임워크의 일반적 효과성을 입증한다.