[논문 리뷰] Parallel Attention Network with Sequence Matching for Video Grounding

Hao Zhang, Aixin Sun외 4명|arXiv (Cornell University)|2021. 05. 18.

Multimodal Machine Learning Applications참고 문헌 68인용 수 4

한 줄 요약

이 논문은 자기 지도형 평행 주의 모듈을 사용해 내부 및 외부 모odal 표현을 동시에 모델링하고, 시작/종료 경계를 '시작', '내부', '종료' 영역로 레이블링하는 순서 매칭 전략을 통해 제안 없이도 동작하는 SeqPAN을 제안한다. SeqPAN은 세 가지 벤치마크에서 최신 기술 성능을 달성하며, 향상된 다중모달 모델링과 경계 예측을 통해 뛰어난 국소화 정확도를 입증한다.

ABSTRACT

Given a video, video grounding aims to retrieve a temporal moment that semantically corresponds to a language query. In this work, we propose a Parallel Attention Network with Sequence matching (SeqPAN) to address the challenges in this task: multi-modal representation learning, and target moment boundary prediction. We design a self-guided parallel attention module to effectively capture self-modal contexts and cross-modal attentive information between video and text. Inspired by sequence labeling tasks in natural language processing, we split the ground truth moment into begin, inside, and end regions. We then propose a sequence matching strategy to guide start/end boundary predictions using region labels. Experimental results on three datasets show that SeqPAN is superior to state-of-the-art methods. Furthermore, the effectiveness of the self-guided parallel attention module and the sequence matching module is verified.

연구 동기 및 목표

• 긴 비디오 내에서 목표 순간이 짧고 흐리게 분포되어 있는 비디오 거시징에서 정밀한 시간적 순간 국소화 문제를 해결한다.
• 제안 생성에 의존하거나 비디오 프레임 시퀀스의 구조적 모델링이 부족한 기존 방법의 한계를 극복한다.
• 비디오 및 텍스트 모달에서 자기 모달 및 교차 모달 주의를 동시에 캡처하여 다중모달 표현 학습을 향상시킨다.
• 비디오 프레임의 순차적 성격을 모델링하여 순간 국소화를 순서 레이블링 작업으로 간주함으로써 경계 예측을 향상시킨다.
• 영역 수준의 레이블(BIEO)과 학습 가능한 레이블 임베딩을 사용한 순서 매칭 전략을 개발하여 경계 국소화를 안내한다.

제안 방법

• 비디오 및 텍스트 모달 내에서의 자기 주의와 이들 간의 교차 주의를 동시에 계산하는 자기 지도형 평행 주의(SGPA) 모듈을 제안한다.
• 자기 지도형 헤드를 활용한 교차 게이팅 메커니즘을 도입하여 자기 및 교차 모달 표현을 동적으로 융합한다.
• 정답 순간을 세 영역으로 분할한다: 시작(B), 내부(I), 종료(E), 추가로 외부(O) 영역을 포함하여 BIEO 레이블링 체계를 구성한다.
• 각 영역를 표현하기 위해 학습 가능한 레이블 임베딩($\bm{E}_{\text{lab}}$)을 사용하고, 모델이 잠재적 경계 영역을 식별하도록 안내한다.
• 학습 중에 미분 가능한 샘플링을 가능하게 하기 위해 냉각 온도 $\tau$를 사용한 Gumbel-Softmax 기법을 적용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 비디오 프레임의 정확한 BIEO 레이블링을 장려하는 순서 매칭 목적함수를 사용하여 모델을 훈련함으로써 국소화 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 자기 및 교차 모달 주의의 동시 모델링이 비디오 거시징에서 다중모달 표현 학습을 향상시키는가?
• RQ2 BIEO 영역을 사용한 순서 레이블링 작업으로 경계 예측을 순차적 태깅 문제로 간주할 경우, 기존의 회귀나 이진 분류보다 더 정확한 국소화를 달성하는가?
• RQ3 학습 가능한 레이블 임베딩과 Gumbel-Softmax 기법이 정확한 시작 및 종료 경계 예측을 위해 모델을 얼마나 효과적으로 안내하는가?
• RQ4 잠재적 경계 영역을 제약하는 순서 매칭 전략은 전경/배경 또는 회귀 기반 지도 학습을 사용하는 기준선 방법보다 성능이 뛰어나게 되는가?
• RQ5 Gumbel-Softmax 기법의 최적의 냉각 온도 $\tau$는 무엇인가?

주요 결과

• SeqPAN은 세 가지 비디오 거시징 벤치마크인 Charades-STA, ANetCaps, ActivityNet에서 최신 기술 성능을 달성하며, 모든 평가 지표에서 이전 방법을 능가한다.
• 순서 매칭(sq-match) 전략은 엄격한 IoU 임계값(IoU ≥ 0.5) 조건에서도 국소화 정확도를 크게 향상시키며, 기준선 대비 일관된 성능 향상을 보였다.
• 자기 지도형 평행 주의(SGPA) 모듈은 다중모달 표현 학습을 향상시키며, 제거 시 성능 저하가 발생하는 것으로 확인되어 분석 결과에서 그 효과를 입증했다.
• 레이블 임베딩($\bm{E}_{\text{lab}}$)과 $\tau = 0.3$로 설정한 Gumbel-Softmax 기법의 조합이 최적의 성능을 내며, 초파rameter 민감도 분석을 통해 이를 확인했다.
• sq-match 전략을 사용한 모델은 정량적 결과에서 더 일관되고 정확한 경계 예측을 생성하였으며, 예측 레이블(PSL)이 정답 영역과 밀접하게 일치함을 시각화 결과로 확인했다.
• 제거 분석 결과, 순서 매칭 전략과 SGPA 모듈 모두 필수적이며, 모든 평가 환경에서 sq-match 전략이 기준선 fb-match 전략을 능가하는 것으로 확인되었다.