[論文レビュー] Multi-Scale 2D Temporal Adjacent Networks for Moment Localization with Natural Language

Songyang Zhang, Houwen Peng+3 more|arXiv (Cornell University)|Dec 4, 2020

Multimodal Machine Learning Applications参考文献 62被引用数 4

ひとこと要約

本稿では、自然言語クエリを用いた未編集動画内のモーメント検出のための1ショットフレームワークとして、マルチスケール2次元時系列隣接ネットワーク（MS-2D-TAN）を提案する。1つの軸が開始時刻、もう1つの軸が持続時間であるマルチスケール2次元マップを用いて時系列的文脈をモデル化することで、隣接するモーメント同士の関係を捉え、Charades-STA、ActivityNet Captions、TACoSのベンチマークにおいて最先端の手法を上回る高い検出精度を達成する。

ABSTRACT

We address the problem of retrieving a specific moment from an untrimmed video by natural language. It is a challenging problem because a target moment may take place in the context of other temporal moments in the untrimmed video. Existing methods cannot tackle this challenge well since they do not fully consider the temporal contexts between temporal moments. In this paper, we model the temporal context between video moments by a set of predefined two-dimensional maps under different temporal scales. For each map, one dimension indicates the starting time of a moment and the other indicates the duration. These 2D temporal maps can cover diverse video moments with different lengths, while representing their adjacent contexts at different temporal scales. Based on the 2D temporal maps, we propose a Multi-Scale Temporal Adjacent Network (MS-2D-TAN), a single-shot framework for moment localization. It is capable of encoding the adjacent temporal contexts at each scale, while learning discriminative features for matching video moments with referring expressions. We evaluate the proposed MS-2D-TAN on three challenging benchmarks, i.e., Charades-STA, ActivityNet Captions, and TACoS, where our MS-2D-TAN outperforms the state of the art.

研究の動機と目的

• 特に隣接するモーメントからの文脈が不可欠な状況において、自然言語クエリに基づく特定の動画モーメントを検出する課題に対処すること。
• 既存の2段階手法がモーメント候補を独立して処理し、それらの時系列的関係を無視するという限界を克服すること。
• 複数の時系列スケールにおける構造的な2次元マップを用いて隣接する時系列的文脈をモデル化することで、検出精度を向上させること。
• モーメント候補のスパースなマルチスケールサンプリングにより、計算コストを低減しながらも細粒度の検出能力を維持すること。
• 意味的に類似しているが視覚的に重複するモーメントを区別できる特徴の学習を可能にすること。

提案手法

• 各セルが開始時刻（1つの軸）と持続時間（もう1つの軸）で定義されるモーメントを表す2次元時系列マップを構築し、局所化の粒度を決定する時間単位τを設定する。
• 異なる時間単位（例：τ、2τ、4τ）を用いた複数の2次元マップを生成することで、スパースなマルチスケール表現を構築し、計算コストをO(N²)からO(N)に削減する。
• ゲート付き畳み込み層を用いて2次元マップ全体に特徴を符号化し、隣接するモーメントに注目させ、文脈的な表現を学習可能にする。
• 提案生成およびマッチングパイプラインを不要とする1ショット推論戦略を採用し、2次元マップ上で直接モーメントスコアを予測する。
• 複数スケールのマップを統合することで受容 field を拡大し、多様な時間的範囲を捉え、さまざまなモーメント長に対する耐性を高める。
• 訓練時に可変なウィンドウサイズ（N）を持つスライディングウィンドウ戦略を適用し、有効な特徴学習が行えるよう十分な文脈を確保する。

実験結果

リサーチクエスチョン

• RQ1 2次元マップを用いて動画モーメント間の時系列的文脈をモデル化することで、自然言語クエリにおけるモーメント検出精度が向上するか？
• RQ2 マルチスケール2次元表現は、計算コストを低減しながらも、性能を維持または向上させられるか？
• RQ3 2次元マップに基づく1ショットフレームワークは、モーメント候補を独立して処理する2段階手法を上回る性能を発揮できるか？
• RQ4 受容 field のサイズとカーネル構成は、意味的に類似したモーメントを区別する能力にどのように影響するか？
• RQ5 モーメント候補の数が性能に与える影響はどの程度か？また、少ない数のアンカーポイントでも優れた結果が得られるか？

主な発見

• MS-2D-TANは、Charades-STA、ActivityNet Captions、TACoSの3つのベンチマークで最先端の性能を達成し、先行手法を上回る。
• CBPという以前のSOTA手法と比較して、使用するアンカーポイント数のおよそ半分でTACoSで平均mIoUが5.8%高い結果を達成した。
• 平均動画長の約96.42%をカバーする大きなスライディングウィンドウサイズ（N=512クリップ）を用いることで、67.47%や87.57%をカバーする小さなウィンドウよりも優れた性能を発揮した。
• 隠れ状態サイズを増加させることで性能が向上し、CBPの2/3のパラメータ数を用いたモデルでも優れた結果を達成した。
• 同じ受容 field を得るために、カーネルサイズ7を2層で使用する手法が、より小さなカーネルとより多くの層を用いる手法よりも優れた性能を示した。
• 定性的な分析から、モデルは正解モーメントおよび意味的に類似した近隣モーメントの両方に対して高いスコアを予測しており、文脈からの効果的な判別的特徴学習が行われていることが示された。