[論文レビュー] RUC+CMU: System Report for Dense Captioning Events in Videos

Shizhe Chen, Yuqing Song+4 more|arXiv (Cornell University)|Jun 22, 2018

Multimodal Machine Learning Applications参考文献 8被引用数 4

ひとこと要約

本論文は、時系列プロポーザルランク付けとアンサンブルキャプション生成を組み合わせた2段階のドメイン特化型ビデオキャプションシステムを提示する。マルチモーダル特徴（RGB、フロー、音声）と双方向LSTMの文脈モデリングを活用し、プロポーザルスコアとキャプションスコアを統合して再ランク付けすることで、ActivityNetテストセットで8.529のMETEORスコアを達成し、最先端の性能を実現した。

ABSTRACT

This notebook paper presents our system in the ActivityNet Dense Captioning in Video task (task 3). Temporal proposal generation and caption generation are both important to the dense captioning task. Therefore, we propose a proposal ranking model to employ a set of effective feature representations for proposal generation, and ensemble a series of caption models enhanced with context information to generate captions robustly on predicted proposals. Our approach achieves the state-of-the-art performance on the dense video captioning task with 8.529 METEOR score on the challenge testing set.

研究の動機と目的

• ドメイン特化型ビデオキャプションの課題に取り組むために、時系列イベントの局所化と正確なキャプション生成を同時に最適化する。
• 文脈に配慮した特徴と境界のばらつきを組み込むことで、より正確なイベント局所化を実現するためのプロポーザル品質の向上。
• 文脈とトピック情報で強化された複数のキャプションモデルを統合することで、キャプションのロバスト性を向上させる。
• 体系的なモデルアンサンブルと再ランク付けを通じて、ActivityNetドメイン特化型キャプションベンチマークで最先端の性能を達成する。

提案手法

• ビデオを重複のない64フレームのセグメントに分割し、マルチモーダル特徴を抽出する：ResNet（画像）、I3D（動き）、VGGish（音声）。
• 双方向LSTMを用いてセグメント特徴からの双方向文脈を符号化し、正解キャプションの概念を予測するように訓練する。
• 正解分布のクラスタに基づいた複数のウィンドウ長を用いたスライディングウィンドウにより、候補プロポーザルを生成する。
• 2層のフィードフォワードニューラルネットワークを用い、4つの特徴（内部：プロポーザルの内容、外部：文脈、境界のばらつき、位置/持続時間の比率）を用いてプロポーザルをランク付けする。
• 3つのキャプションモデルをアンサンブル化する：vanilla LSTM、時系列アテンションベース、トピックガイドド（200個のActivityNetカテゴリを用いる）、いずれも自己強化強化学習でファインチューニングする。
• 最終出力を、プロポーザルスコアとキャプションスコアの積（s = s_p × s_c）を用いて再ランク付けし、1ビデオあたり上位10つのキャプションを選択する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルおよび文脈特徴は、ドメイン特化型ビデオキャプションにおける時系列プロポーザル生成をどのように向上させるか？
• RQ2 文脈とトピックガイド付きのアンサンブルキャプションモデリングは、キャプションの品質とロバスト性をどの程度向上させるか？
• RQ3 学習されたプロポーザルランク付けモデルは、低品質なプロポーザルを効果的にフィルタリングしつつ、高い再現率を維持できるか？
• RQ4 プロポーザル品質スコアとキャプション品質スコアを再ランク付けで統合することで、ドメイン特化型キャプション全体の性能にどのような影響を与えるか？

主な発見

• スライディングウィンドウベースラインは1ビデオあたり241のプロポーザルを生成し、精度は28%（tiou ≥ 0.3）であるが、再現率は98%に達する。
• プロポーザルランク付けモデルを適用した後（スコア s_p > 0.5 の閾値）、平均プロポーザル数は53に低下し、精度は71%（tiou ≥ 0.3）に向上し、再現率は84%を維持する。
• キャプションアンサンブルモデルは、正解プロポーザル上で13.75のMETEORを達成し、個々のモデルを上回る性能を示し、モデル統合の利点を裏付ける。
• 予測されたプロポーザル上で、アンサンブルモデルは高いロバスト性を維持し、12.44のMETEORを達成するが、不完全なプロポーザルと増加したプロポーザル数の影響で13.75から低下する。
• 最終システムは、ActivityNetテストセットで最先端の8.529のMETEORスコアを達成し、優れた一般化性能と高い性能を示している。