[論文レビュー] Grounded Objects and Interactions for Video Captioning

Chih‐Yao Ma, Asim Kadav+4 more|arXiv (Cornell University)|Nov 16, 2017

Multimodal Machine Learning Applications参考文献 29被引用数 5

ひとこと要約

本稿では、領域提案に対する再帰的アテンションメカニズムを用いて、高次元のオブジェクト相互作用に基づいて言語生成を固定化する、SINet-Captionと呼ばれる動画キャプション生成モデルを提案する。粗粒度のシーンコンテキストと細粒度のオブジェクト相互作用を同時にモデル化することで、ResNeXt特徴量を用いた場合、ActivityNet CaptionsデータセットにおいてSOTA性能を達成し、1回目の検証セットでCIDErスコア44.14を記録した。

ABSTRACT

We address the problem of video captioning by grounding language generation on object interactions in the video. Existing work mostly focuses on overall scene understanding with often limited or no emphasis on object interactions to address the problem of video understanding. In this paper, we propose SINet-Caption that learns to generate captions grounded over higher-order interactions between arbitrary groups of objects for fine-grained video understanding. We discuss the challenges and benefits of such an approach. We further demonstrate state-of-the-art results on the ActivityNet Captions dataset using our model, SINet-Caption based on this approach.

研究の動機と目的

• 動画キャプションの向上を図るため、全体的なシーン理解に依存するのではなく、高次元オブジェクト相互作用に基づいて言語生成を固定化すること。
• 動画内のすべてのペアワイズオブジェクト関係を検出する際の非効率性を解消するため、意味のあるオブジェクトグループの発見にスケーラブルで再帰的な手法を提案すること。
• より正確で詳細なキャプション生成のため、粗粒度の視覚的コンテキストと細粒度のオブジェクト相互作用表現を統合すること。
• 領域提案とアテンションメカニズムを用いたエンドツーエンド学習により、挑戦的なActivityNet CaptionsデータセットでSOTAの性能を示すこと。

提案手法

• モデルは、ドメインシフトやトラッキングの複雑さを回避するため、事前学習済みオブジェクト検出器に依存せずに、動画フレームからオブジェクト提案（ROIs）を抽出するための領域提案ネットワーク（RPN）を用いる。
• 再帰的高次相互作用モジュールは、現在のフレーム表現、過去の相互作用、およびオブジェクト提案の特徴量を射影したものを用いて、ドット積アテンションにより関連するオブジェクトグループを動的に選択する。
• アテンションメカニズムは、射影された画像表現、過去の相互作用状態、およびオブジェクト特徴量からの入力を用いて、文脈に適した重みを計算し、空間的および時間的依存性の両方を統合的にモデル化可能にする。
• 視覚的特徴量と言語表現との間に共同アテンションを適用することで、各単語生成ステップで関連する動画フレームやオブジェクト相互作用に注目できる。
• オブジェクト相互作用表現はLSTMセルを介して更新され、フレーム間での相互作用の時間的統合が可能になり、進化する関係を捉えることができる。
• モデルはADAM最適化手法で学習され、バッチサイズ32、ドロップアウト率0.5を設定し、検証損失の飽和に伴い、学習率を段階的に減衰させる。

実験結果

リサーチクエスチョン

• RQ1 高次元オブジェクト相互作用に基づいて動画キャプションを固定化することで、キャプションの質と細粒度の理解が向上するか？
• RQ2 高次元オブジェクト相互作用を、全ペアワイズ計算を避けて効率的に検出・モデル化する方法は何か？
• RQ3 粗粒度のシーンコンテキストと細粒度のオブジェクト相互作用を組み合わせることで、動画キャプション性能がどの程度向上するか？
• RQ4 再帰的アテンションメカニズムは、キャプション生成のための意味のあるオブジェクトグループの選択と表現を効果的に学習できるか？

主な発見

• SINet-Captionは、ResNeXt特徴量を用いた場合、ActivityNet Captionsの1回目の検証セットでCIDErスコア44.14を達成し、先行手法を上回った。
• 1回目の検証セットでは、BLEU-4スコア2.17およびMETEORスコア9.73を達成し、参照キャプションとのn-gramおよび意味的整合性が優れていることが示された。
• 画像レベルのコンテキストを除いたオブジェクトレベルの特徴量のみを用いた場合、CIDErスコア42.20を達成した。これは、オブジェクト相互作用そのもので強力な性能が得られることを示している。
• アブレーションスタディの結果、画像特徴量とオブジェクト特徴量を共同アテンションで統合した場合が最も高い性能を示し、CIDErスコア44.14を記録した。
• 定性的な分析から、モデルは単語生成の過程で関連するオブジェクトとその相互作用を効果的に強調していることが分かった。たとえば、人がウェイクボードに乗り降りする、または2人がラケットボールをプレーするといった状況が適切に捉えられていた。
• 一部のケースでは、複数人の人物が複数頭のラクダに乗りながらいる状況を検出できなかったが、これは訓練データにリーダーとなる人物に注目したキャプションが優遇されている可能性のあるアノテーションバイアスによるものと推察される。