[論文レビュー] Exploiting Temporal Relationships in Video Moment Localization with Natural Language

Songyang Zhang, Jinsong Su+1 more|arXiv (Cornell University)|Aug 11, 2019

Multimodal Machine Learning Applications参考文献 29被引用数 7

ひとこと要約

本稿では、自然言語クエリ内の時間的関係を木構造アテンション機構を用いて主イベント、文脈イベント、時間信号に分解することで、明示的に時間的関係をモデル化するTemporal Compositional Modular Network (TCMN) を提案する。本手法は視覚的類似性（イベント用）と位置的類似性（時間信号用）のための別々のモジュールを採用し、RGB とオプティカルフロー特徴を用いた4つのモデルのアンサンブルにより、モodal 異常を扱う。TEMPO データセット上で最先端の性能を達成した。

ABSTRACT

We address the problem of video moment localization with natural language, i.e. localizing a video segment described by a natural language sentence. While most prior work focuses on grounding the query as a whole, temporal dependencies and reasoning between events within the text are not fully considered. In this paper, we propose a novel Temporal Compositional Modular Network (TCMN) where a tree attention network first automatically decomposes a sentence into three descriptions with respect to the main event, context event and temporal signal. Two modules are then utilized to measure the visual similarity and location similarity between each segment and the decomposed descriptions. Moreover, since the main event and context event may rely on different modalities (RGB or optical flow), we use late fusion to form an ensemble of four models, where each model is independently trained by one combination of the visual input. Experiments show that our model outperforms the state-of-the-art methods on the TEMPO dataset.

研究の動機と目的

• 従来の動画モーメント検出手法が自然言語クエリ内の時間的関係を無視するという限界を是正すること。
• クエリを主イベント、文脈イベント、時間信号の3要素に分解することで、時間的言語の構成的構造をモデル化すること。
• イベント用の視覚的類似性と時間信号用の位置的類似性を分離することで、クロスマダルマッチングを改善すること。
• 異なるイベントがRGB またはオプティカルフローに依存する可能性があるモダリティの不一致を、異なる視覚入力の組み合わせで訓練された4つのモデルのアンサンブルにより処理すること。
• 構造的なパースィングが複雑なクエリにおいて、逐次アテンションよりも優れた性能を発揮することを示すこと。

提案手法

• 木構造アテンションネットワークを用いて、入力文を主イベント、文脈イベント、時間信号の3要素に解析し、対応するフレーズ埋め込みを生成する。
• 2つの異なるモジュールがマッチングスコアを計算する：イベント埋め込みと動画セグメント間の視覚的類似性を評価するロケーションモジュール、および時間信号埋め込みとセグメント境界間の位置的類似性を評価する関係モジュール。
• 4つの独立して訓練されたモデルをラテント統合により統合する。各モデルは異なる視覚入力の組み合わせ（RGB, RGB）、（RGB, Flow）、（Flow, RGB）、（Flow, Flow）を使用する。
• 視覚的類似性モジュールは、アテンションベースのクロスマダルマッチングを用いて、主イベントおよび文脈イベントのフレーズ埋め込みと動画特徴をマッチングする。
• 位置的類似性モジュールは、時間信号埋め込み（例：'before', 'after'）と動画セグメントの時間的境界をマッチングする。
• 最終的な予測は、2つのモジュールの出力を合算し、4つの視覚入力ストリームの重み付きアンサンブルを用いることで、より高いロバスト性を達成する。

実験結果

リサーチクエスチョン

• RQ1 時間的言語をイベントと信号の要素に構造的にパースィングすることで、逐次アテンションと比較して動画モーメント検出の精度が向上するか？
• RQ2 イベント用の視覚的類似性と時間信号用の位置的類似性を分離することで、性能が向上するか？
• RQ3 RGB とオプティカルフローの異なるモダリティで訓練されたモデルのアンサンブルは、動画モーメント検出におけるモダリティの不一致を緩和できるか？
• RQ4 提案された木構造アテンション機構は、複雑な時間的クエリを処理する際、標準的な逐次LSTMベースのアテンションと比較してどのように優れているか？
• RQ5 TCMNの個々の構成要素（例：関係モジュール、アテンション機構）は、最終的な性能にどの程度寄与しているか？

主な発見

• 提案された TCMN モデルは、TEMPO データセットで最先端の性能を達成し、MLLC や MLLC+conTEF といった既存手法を上回った。
• 時間信号類似性をモデル化する関係モジュールは性能向上に顕著な寄与をしており、導入した際の改善が顕著に観察された。
• （Flow, Flow）入力のモデルが最も高い単一ストリーム性能を達成した。これは、運動やカメラの動きを含む多くのクエリにおいて、動き特徴が極めて重要であることを示している。
• 4つの視覚入力組み合わせを統合した完全なアンサンブルモデルは、2つのストリームのみを用いたモデルを上回り、RGB とオプティカルフロー特徴が相補的であることを示した。
• パrameter数が少ない（16.5M）にもかかわらず、SOTA の「MLLC+conTEF」（17Mパラメータ）を上回る性能を示した。これは、性能向上がパrameter数の増加によるものではなく、アーキテクチャ設計によるものであることを示している。
• 木構造アテンション機構は、複雑な文において、逐次LSTMベースのアテンションを上回った。これは、時間的言語における構造的関係を効果的に符号化できる能力に起因すると考えられる。