[論文レビュー] Spatio-Temporal Graph for Video Captioning with Knowledge Distillation

Boxiao Pan, Haoye Cai+5 more|arXiv (Cornell University)|Mar 31, 2020

Multimodal Machine Learning Applications参考文献 52被引用数 30

ひとこと要約

この論文は、オブジェクト志向の知識蒸留機構を備えた、ビデオキャプション生成のための時空オブジェクトグラフを提案し、オブジェクトレベルの情報をシーンブランチへ蒸留して、解釈可能な grounding を伴う competitive な結果を達成する。

ABSTRACT

Video captioning is a challenging task that requires a deep understanding of visual scenes. State-of-the-art methods generate captions using either scene-level or object-level information but without explicitly modeling object interactions. Thus, they often fail to make visually grounded predictions, and are sensitive to spurious correlations. In this paper, we propose a novel spatio-temporal graph model for video captioning that exploits object interactions in space and time. Our model builds interpretable links and is able to provide explicit visual grounding. To avoid unstable performance caused by the variable number of objects, we further propose an object-aware knowledge distillation mechanism, in which local object information is used to regularize global scene features. We demonstrate the efficacy of our approach through extensive experiments on two benchmarks, showing our approach yields competitive performance with interpretable predictions.

研究の動機と目的

• グローバルなフレーム特徴を超えて、明示的にオブジェクト間の相互作用をモデル化することを動機づける。
• 時空間オブジェクト関係を捉える時空間グラフを提案する。
• オブジェクト情報でグローバルなシーン特徴を正規化するオブジェクト志向の知識蒸留機構を導入する。
• オブジェクトブランチが訓練時にシーンブランチへ情報を提供する2分岐アーキテクチャを開発し、シーン特徴のみでの効率的な推論を可能にする。
• 標準ベンチマークで性能と grounding の改善を示す。

提案手法

• 動画を、各フレームの空間グラフとフレーム間の時間グラフを備えた時空間グラフとして表現する。
• 物体提案間の正規化されたIoUを用いて空間隣接を計算する。隣接フレーム間の物体特徴間のコサイン類似度を用いて時間隣接を計算する。
• 統合された時空間グラフ上でグラフ畳み込みを適用してオブジェクト特徴を更新する。
• グローバルなフレーム特徴を処理するシーンブランチを導入し、蒸留されたオブジェクト情報とソフトなロジットレベルの蒸留損失で融合する。
• オブジェクトブランチとシーンブランチそれぞれに Transformer ベースの言語デコーダを用い、言語損失と蒸留損失を組み合わせて訓練する。
• 推論時には蒸留されたオブジェクト知識を活用して、キャプション生成にはシーンブランチのみをデプロイする。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト相互作用の明示的な時空間モデリングは、ビデオキャプションの品質と grounding を改善できるか？
• RQ2 オブジェクト志向の知識蒸留は、グローバルなシーン特徴と統合する際にノイズの多いオブジェクトグラフ表現を効果的に正規化するか？
• RQ3 提案する2分岐フレームワークは、単一ブランチのベースラインや他のグラフベース手法と標準ベンチマークでどう比較されるか？
• RQ4 空間グラフと時間グラフの両方を含める場合と、片方のみ、または密なグラフを用いる場合の影響はどうなるか？
• RQ5 このアプローチはキャプションの解釈可能な視覚 grounding を提供するか？

主な発見

手法	BLEU@4	METEOR	ROUGE-L	CIDEr
Wang et al. [39]	42.0	28.2	61.6	48.7
Hou et al. [19]	42.3	29.7	62.8	49.1
RecNet [40]	39.1	26.6	59.3	42.7
PickNet [6]	41.3	27.7	59.8	44.1
OA-BTG [49]	41.4	28.2	-	46.9
MARN [30]	40.4	28.1	60.7	47.1
Ours (Scene only)	37.2	27.3	59.1	44.6
Ours	40.5	28.3	60.9	47.1

• MSVDでは、全体モデルがBLEU@4、METEOR、ROUGE-L、CIDErのいずれでも最先端または競争力のある結果を達成。
• MSR-VTTでは、全体モデルは強力なベースラインと競合する性能を示す一方、シーンのみの変種は劣っており、オブジェクト情報を用いた蒸留の利点を強調。
• アブレーションにより、空間グラフと時間グラフの両方が有意に寄与し、事前知識ベースのグラフが密な非構造グラフよりも優れていることが示された。
• オブジェクト志向の知識蒸留は、定性的な顕著性マップやオブジェクトに関連するキャプションの詳細の精度向上から grounding を改善する。
• ロジットレベル蒸留を用いた2分岐アーキテクチャは、結合やL2ベースの融合より性能が向上し、推論時のオブジェクト検出を回避する。