[논문 리뷰] Learning 2D Temporal Adjacent Networks for Moment Localization with Natural Language

Songyang Zhang, Houwen Peng외 2명|arXiv (Cornell University)|2019. 12. 08.

Multimodal Machine Learning Applications참고 문헌 36인용 수 42

한 줄 요약

이 논문은 시작-종료를 2D 맵으로 모델링하여 순간을 로컬라이즈하는 2D Temporal Adjacent Network (2D-TAN)를 소개하며, 추가 후처리 없이 Charades-STA, ActivityNet Captions, TACoS에서 최첨단 결과를 달성한다.

ABSTRACT

We address the problem of retrieving a specific moment from an untrimmed video by a query sentence. This is a challenging problem because a target moment may take place in relations to other temporal moments in the untrimmed video. Existing methods cannot tackle this challenge well since they consider temporal moments individually and neglect the temporal dependencies. In this paper, we model the temporal relations between video moments by a two-dimensional map, where one dimension indicates the starting time of a moment and the other indicates the end time. This 2D temporal map can cover diverse video moments with different lengths, while representing their adjacent relations. Based on the 2D map, we propose a Temporal Adjacent Network (2D-TAN), a single-shot framework for moment localization. It is capable of encoding the adjacent temporal relation, while learning discriminative features for matching video moments with referring expressions. We evaluate the proposed 2D-TAN on three challenging benchmarks, i.e., Charades-STA, ActivityNet Captions, and TACoS, where our 2D-TAN outperforms the state-of-the-art.

연구 동기 및 목표

• 향상된 맥락 모델링으로 자연어로 설명된 미가공 비디오에서 순간을 로컬라이즈하려는 동기.
• 후보 순간의 2D 맵을 통해 인접한 시간 관계를 포착하는 표현을 제안한다.
• 융합된 비디오-언어 특징을 사용하여 순간 후보를 직접 점수화하는 싱글샷 네트워크를 구축한다.
• 순간 후보 간의 명시적 맥락 모델링이 로컬라이제이션 정확도를 향상시킨다는 것을 입증한다.

제안 방법

• 쿼리를 GloVe 임베딩 위에 3-layer LSTM으로 표현하여 f^S를 얻는다.
• 클립 간 풀링으로 시작-끝 인덱스 (a,b)와 특징 f^V를 형성하여 2D 시간 특징 맵 F^M를 추출하고, F^M을 R^{N x N x d^V}로 얻는다.
• 계산량 감소를 위해 G(a,b)에 의해 제어되는 희소 샘핑 전략으로 컴팩트한 후보 순간 집합을 선택한다.
• 공통 공간으로 투영하고 Hadamard 곱과 Frobenius 정규화를 적용하여 비디오-언어 특징을 융합한다: F = ||(w^S f^S 1^T) ⊙ (W^M F^M)||_F.
• F 위에서 L-층 2D 합성곱 Temporal Adjacent Network로 맥락을 모델링하여 인접한 순간 관계를 포착한다.
• 실제 IoU o_i로부터 파생된 스케일된 IoU 감독 y_i와 C개의 유효한 후보에 대한 이진 교차 엔트로피 손실을 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 2D 시간 맵이 자연어로 근거를 둔 로컬라이제이션에서 후보 순간들 간의 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 인접한 순간들의 명시적 맥락 모델링이 시각적으로 비슷한 후보들 간의 판별력을 향상시키는가?
• RQ3 제안된 희소 후보 샘플링이 밀집 열거(Dense enumeration) 대비 성능과 효율성에 어떤 영향을 미치는가?

주요 결과

• 2D-TAN은 Charades-STA, ActivityNet Captions, TACoS에서 여러 지표에 걸쳐 최첨단 성능에 근접하거나 이를 능가한다.
• TACoS에서 2D-TAN은 Rank1@0.5 및 Rank5@0.5에서 각각 ACL-K와 TGN보다 5포인트 이상, 14포인트 이상 앞선다.
• 대규모 ActivityNet Captions 데이터셋에서 2D-TAN은 IoU@0.5 및 IoU@0.7에서 최고 방법 CMIN보다 우수하다.
• 더 크거나 깊은 커널을 통한 더 큰 수용영역은 성능을 향상시키고, 수용영역이 충분히 커지면 포화된다.
• 희소 샘플링은 후보 수를 줄이면서도 밀집 열거와 비슷한 성능을 유지하여 효율성을 높인다.
• 슬라이딩 윈도우 방식과 비교할 때, 2D-TAN은 독립적으로 취급하기보다는 순간 후보 간의 시간적 의존성을 모델링하는 이점이 있다.