[論文レビュー] Video Captioning with Boundary-aware Hierarchical Language Decoding and Joint Video Prediction

Xiangxi Shi, Jianfei Cai+2 more|arXiv (Cornell University)|Jul 8, 2018

Multimodal Machine Learning Applications被引用数 3

ひとこと要約

本稿では、ビデオ字幕生成のための境界認識型階層的言語デコーダーを提案する。高レベルのGRUを用いてグローバルな文構造をモデル化し、低レベルのGRUに二値ゲートを導入してフレーズレベルの境界検出を実現する。共有注意機構と境界認識型符号化を統合することで、ビデオ字幕生成と予測を同時に最適化し、MSR-VTTおよびMSVDデータセットで最先端の性能を達成した。

ABSTRACT

The explosion of video data on the internet requires effective and efficient technology to generate captions automatically for people who are not able to watch the videos. Despite the great progress of video captioning research, particularly on video feature encoding, the language decoder is still largely based on the prevailing RNN decoder such as LSTM, which tends to prefer the frequent word that aligns with the video. In this paper, we propose a boundary-aware hierarchical language decoder for video captioning, which consists of a high-level GRU based language decoder, working as a global (caption-level) language model, and a low-level GRU based language decoder, working as a local (phrase-level) language model. Most importantly, we introduce a binary gate into the low-level GRU language decoder to detect the language boundaries. Together with other advanced components including joint video prediction, shared soft attention, and boundary-aware video encoding, our integrated video captioning framework can discover hierarchical language information and distinguish the subject and the object in a sentence, which are usually confusing during the language generation. Extensive experiments on two widely-used video captioning datasets, MSR-Video-to-Text (MSR-VTT) \cite{xu2016msr} and YouTube-to-Text (MSVD) \cite{chen2011collecting} show that our method is highly competitive, compared with the state-of-the-art methods.

研究の動機と目的

• RNNベースの言語デコーダーが頻度の高い語の共起に過剰適合するという限界を是正すること。
• 階層的な言語構造をモデル化することで文レベルの整合性を向上させ、幻覚を低減すること。
• ビデオ字幕生成とビデオ予測タスクの共同学習を通じて、ビデオ字幕生成の性能を向上させること。
• 低レベルのGRUデコーダーに二値ゲートを用いて、語またはフレーズ間の言語的境界（例：主語-動詞や名詞-動詞の遷移）を検出すること。
• 境界認識型ビデオ符号化と階層的言語デコーダーを統合し、意味的整合性を向上させること。

提案手法

• 文生成のための高レベルGRU（グローバル言語モデル）と低レベルGRU（ローカルフレーズレベルモデル）を有する階層的言語デコーダーを提案する。
• 学習可能な二値ゲートを用いて言語的境界を検出する、バイナリゲートリカレントユニット（B-GRU）を導入する。
• ビデオ字幕生成とビデオ予測タスクの間でソフトアテンションを共有することで、特徴の整合性を向上させるとともにパラメータ数を削減する。
• 時間的局在化の向上を図るために、境界認識型ビデオ符号化を用いる。
• 統合的ビデオ予測をマルチタスク学習の目的関数として導入し、特徴表現と推論能力を強化する。
• ビームサーチ推論を用いて、すべてのモジュールをエンドツーエンドで学習可能なフレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 境界検出機能を有する階層的言語デコーダーは、生成されたビデオ字幕の意味的構造と正確性を向上させることができるか？
• RQ2 統合的ビデオ予測は、ビデオ字幕生成モデルの性能をどのように向上させるか？
• RQ3 字幕生成と予測タスク間の共有アテンションは、特徴学習をどの程度向上させるか？
• RQ4 言語デコーダーにおける境界検出は、主語・目的語の混同や誤った語の共起といった一般的な誤りを低減できるか？
• RQ5 単一のデータセットでの学習に限定した場合、提案フレームワークは最先端手法と比較してどの程度優れているか？

主な発見

• 提案モデルは、MSR-VTTデータセットでBLEU-4スコア50.3、CIDErスコア74.3を達成し、単一データセットで学習した先行手法を上回った。
• MSVDデータセットでは、BLEU-4スコア39.8、CIDErスコア43.3を達成し、多様な指標で優れた性能を示した。
• アブレーションスタディの結果、境界検出、共有アテンション、ビデオ予測、階層的言語モデリングの各コンポーネントが性能向上に寄与していることが確認された。
• B-GRUに組み込まれた二値ゲートは、名詞フレーズと動詞の間など、言語的境界を効果的に検出できた。
• 共有アテンション機構は、字幕生成と予測のための別個アテンションモジュールよりも優れた性能を示し、特徴共有の有効性を裏付けた。
• 定性的な結果から、幻覚が低減されており、例として「女性が女性を乗っている」といった不適切な字幕が回避された。また、主語-動詞の整合性も向上した。