[論文レビュー] Object-aware Aggregation with Bidirectional Temporal Graph for Video Captioning

Junchao Zhang, Yuxin Peng|arXiv (Cornell University)|Jun 11, 2019

Multimodal Machine Learning Applications参考文献 35被引用数 10

ひとこと要約

本稿では、顕著な物体の詳細な時間的ダイナミクスを捉えるために双方向時系列グラフを用い、学習可能なVLADを用いたオブジェクトに特化した集約を適用することで、判別的な時空間表現を学習する動画キャプションモデルOA-BTGを提案する。本手法は、オブジェクト固有の時間的軌道と階層的アテンションを活用することで、MSVDおよびMSR-VTTで最先端の性能を達成し、BLEU@4、METEOR、CIDEARの指標において先行手法を上回っている。

ABSTRACT

Video captioning aims to automatically generate natural language descriptions of video content, which has drawn a lot of attention recent years. Generating accurate and fine-grained captions needs to not only understand the global content of video, but also capture the detailed object information. Meanwhile, video representations have great impact on the quality of generated captions. Thus, it is important for video captioning to capture salient objects with their detailed temporal dynamics, and represent them using discriminative spatio-temporal representations. In this paper, we propose a new video captioning approach based on object-aware aggregation with bidirectional temporal graph (OA-BTG), which captures detailed temporal dynamics for salient objects in video, and learns discriminative spatio-temporal representations by performing object-aware local feature aggregation on detected object regions. The main novelties and advantages are: (1) Bidirectional temporal graph: A bidirectional temporal graph is constructed along and reversely along the temporal order, which provides complementary ways to capture the temporal trajectories for each salient object. (2) Object-aware aggregation: Learnable VLAD (Vector of Locally Aggregated Descriptors) models are constructed on object temporal trajectories and global frame sequence, which performs object-aware aggregation to learn discriminative representations. A hierarchical attention mechanism is also developed to distinguish different contributions of multiple objects. Experiments on two widely-used datasets demonstrate our OA-BTG achieves state-of-the-art performance in terms of BLEU@4, METEOR and CIDEr metrics.

研究の動機と目的

• 顕著な物体の詳細な時間的ダイナミクスを捉えることで、正確で詳細な記述を実現すること。
• グローバル特徴抽出の限界を克服し、細かな空間的・時間的詳細を保持するオブジェクトに特化した時空間表現を学習すること。
• 双方向時系列モデリングとオブジェクト固有の特徴集約を統合することで、判別的な動画表現学習を強化すること。
• 階層的アテンション機構を用いて、複雑なシーンにおける複数のオブジェクトの寄与を区別すること。
• オブジェクトに特化した集約と双方向時系列グラフ学習を統合した統一フレームワークにより、動画キャプションで最先端の性能を達成すること。

提案手法

• 動画の時間的順序に沿って前向きおよび後向きのグラフを構築することで、顕著な各物体に対して補完的な時間的軌道を捉える双方向時系列グラフを構築する。
• オブジェクトレベルの時間的軌道とグローバルフレーム列の両方に対して、学習可能なVLAD（局所集約記述子のベクトル）を適用し、オブジェクトに特化した局所特徴の集約を実行する。
• 表現学習中に異なるオブジェクトインスタンスの寄与度を動的に重みづけるために、階層的アテンション機構を導入する。
• オブジェクト固有の特徴とグローバルフレーム特徴の両方を処理する二重ストリームアーキテクチャを採用し、両者とも双方向時系列グラフとVLADベースの集約を経由する。
• 学習された判別的な時空間表現に基づいて自然言語キャプションを生成するため、アテンションを備えたシーケンス・ツー・シーケンスデコーダーを採用する。
• キャプション生成のための交差エントロピー損失を用いて、エンド・ツー・エンドの訓練を実施し、特徴学習とキャプション性能の両方を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 双方向時系列グラフモデリングは、動画キャプションにおける顕著な物体の詳細な時間的ダイナミクスの捉え方を向上させることができるか？
• RQ2 学習可能なVLADを用いたオブジェクトに特化した特徴集約は、グローバル特徴プーリングと比較して、判別的な時空間表現学習をどの程度向上させるか？
• RQ3 階層的アテンションは、複数のオブジェクトの寄与を区別することで、キャプション性能をどの程度向上させるか？
• RQ4 双方向時系列グラフとオブジェクトに特化した集約を組み合わせることで、標準的な動画キャプションベンチマークで最先端の性能が達成できるか？
• RQ5 複雑な相互作用や空間的関係（例：'on a couch'）を捉える際、モデルの定性的および定量的限界は何か？

主な発見

• OA-BTGは、MSVDおよびMSR-VTTの両データセットで最先端の性能を達成し、単一方向ベースラインと比較して、BLEU@4、METEOR、CIDErでそれぞれ3.25%、1.15%、5.45%の向上を示した。
• 後向き時系列グラフを単独で使用するだけで、MSR-VTTでBLEU@4が1.2%、METEORが1.0%、CIDErが3.0%向上し、逆方向時系列モデリングの価値が示された。
• 単一方向時系列グラフを用いたオブジェクトに特化した集約は、グローバルベースラインを上回る性能を示し、MSVDでBLEU@4が0.6%、METEORが1.3%、CIDErが1.7%向上した。
• アブレーションスタディの結果、双方向時系列グラフとオブジェクトに特化した集約の両方が不可欠であることが確認され、組み合わせによる性能向上が最大であった。
• 定性的な結果から、OA-BTGはオブジェクト軌道をモデル化することで、より正確で詳細な記述（例：'cutting a piece of bread' ではなく 'cooking'）を生成することが分かった。
• 失敗事例から、'on a couch' などの空間的関係や 'chase' などの行動を捉えることが困難であることが示され、オブジェクト間相互作用や長距離依存関係のモデル化における限界が明らかになった。