[논문 리뷰] Multi-Scale 2D Temporal Adjacent Networks for Moment Localization with Natural Language

Songyang Zhang, Houwen Peng외 3명|arXiv (Cornell University)|2020. 12. 04.

Multimodal Machine Learning Applications참고 문헌 62인용 수 4

한 줄 요약

이 논문은 자연어 쿼리를 사용하여 무정형 영상에서 순간을 국소화하기 위한 싱글샷 프레임워크인 다중 척도 2차원 시간적 인접성 네트워크(MS-2D-TAN)를 제안한다. 한 축은 시작 시간, 다른 축은 지속 시간을 나타내는 다중 척도 2차원 맵을 통해 시간적 맥락을 모델링함으로써, 이웃한 순간 간의 관계를 포착하여 Charades-STA, ActivityNet Captions, TACoS 벤치마크에서 최신 기술을 초월하는 국소화 정확도를 달성한다.

ABSTRACT

We address the problem of retrieving a specific moment from an untrimmed video by natural language. It is a challenging problem because a target moment may take place in the context of other temporal moments in the untrimmed video. Existing methods cannot tackle this challenge well since they do not fully consider the temporal contexts between temporal moments. In this paper, we model the temporal context between video moments by a set of predefined two-dimensional maps under different temporal scales. For each map, one dimension indicates the starting time of a moment and the other indicates the duration. These 2D temporal maps can cover diverse video moments with different lengths, while representing their adjacent contexts at different temporal scales. Based on the 2D temporal maps, we propose a Multi-Scale Temporal Adjacent Network (MS-2D-TAN), a single-shot framework for moment localization. It is capable of encoding the adjacent temporal contexts at each scale, while learning discriminative features for matching video moments with referring expressions. We evaluate the proposed MS-2D-TAN on three challenging benchmarks, i.e., Charades-STA, ActivityNet Captions, and TACoS, where our MS-2D-TAN outperforms the state of the art.

연구 동기 및 목표

• 특정 영상 순간을 자연어 쿼리 기반으로 국소화하는 데 도전하는 것, 특히 이웃한 순간들로부터의 맥락이 필수적인 경우를 대상으로 한다.
• 기존의 이단계 방법들이 순간 후보들을 독립적으로 처리하여 시간적 관계를 간과하는 한계를 극복하는 것.
• 다양한 시간 척도에서 구조화된 2차원 맵을 통해 인접한 시간적 맥락을 모델링하여 국소화 정확도를 향상시키는 것.
• 순간 후보의 희소 다중 척도 샘플링을 통해 계산 비용을 줄이면서도 세밀한 국소화 능력을 유지하는 것.
• 시각적으로 겹치지만 의미적으로 유사한 순간들을 효과적으로 구분할 수 있는 특징 학습 능력을 제공하는 것.

제안 방법

• 각 셀이 시작 시간(한 축)과 지속 시간(다른 축)으로 정의된 순간을 나타내는 2차원 시간 맵을 구축하며, 국소화 해상도를 결정하는 시간 단위 τ를 사용한다.
• 다른 시간 단위(예: τ, 2τ, 4τ)를 가진 여러 2차원 맵을 생성하여 희소 다중 척도 표현을 형성함으로써 계산 비용을 O(N²)에서 O(N)으로 감소시킨다.
• 게이트드 컨볼루션 레이어를 사용하여 2차원 맵 전반에 걸쳐 특징을 인코딩하여, 네트워크가 이웃한 순간에 주의를 기울이고 맥락 기반 표현을 학습할 수 있도록 한다.
• 제안서 생성 및 매칭 파이프라인을 필요로 하지 않는 싱글샷 추론 전략을 적용하여, 직접적으로 2차원 맵 상에서 순간 점수를 예측한다.
• 다중 척도 맵을 통합하여 수신 필드를 증가시키고 다양한 시간 범위를 포착함으로써, 다양한 지속 시간을 가진 순간에 대한 강건성을 향상시킨다.
• 학습 중에 다양한 창 크기(N)를 가진 슬라이딩 윈도우 전략을 적용하여 효과적인 특징 학습을 위해 충분한 맥락을 확보한다.

실험 결과

연구 질문

• RQ1 2차원 맵를 통해 영상 순간 간의 시간적 맥락을 모델링하면 자연어 쿼리 기반의 순간 국소화 정확도가 향상되는가?
• RQ2 다중 척도 2차원 표현은 성능을 유지하거나 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ3 2차원 맵 기반의 싱글샷 프레임워크는 순간 후보를 별도로 처리하는 이단계 방법을 능가할 수 있는가?
• RQ4 수신 필드 크기와 커널 구성은 모델이 의미적으로 유사하지만 서로 다른 순간을 구분하는 데 어떤 영향을 미치는가?
• RQ5 순간 후보의 수가 성능에 미치는 영향은 어느 정도이며, 더 작은 앵커 집합으로도 뛰어난 성능을 달성할 수 있는가?

주요 결과

• MS-2D-TAN은 Charades-STA, ActivityNet Captions, TACoS 세 가지 벤치마크에서 최신 기술 성능을 달성하며 이전 방법들을 능가한다.
• CBP와 비교해 앵커 수를 약 절반으로 줄였음에도 불구하고, TACoS에서 평균 mIoU가 5.8% 높게 기록되었다.
• 평균 영상 길이의 약 96.42%를 커버하는 더 큰 슬라이딩 윈도우 크기(N=512 클립)를 사용할 경우, 67.47% 또는 87.57%를 커버하는 작은 윈도우보다 성능이 뛰어나다.
• 은닉 상태 크기를 증가시키면 성능 향상이 이루어지며, CBP의 2/3의 파라미터 수를 사용하는 모델이 더 뛰어난 성능을 기록했다.
• 같은 수신 필드를 확보할 경우, 더 큰 커널 크기(예: 커널 크기 7, 2층)를 사용하는 것이 더 작은 커널과 더 많은 층을 사용하는 것보다 성능이 뛰어나다.
• 정성적 분석 결과, 모델은 참조 순간과 의미적으로 유사하지만 서로 다른 순간들에 대해서도 높은 점수를 예측함으로써, 맥락 기반 효과적인 특징 학습 능력을 입증했다.