[論文レビュー] Reconstruction Network for Video Captioning

Bairui Wang, Lin Ma+2 more|arXiv (Cornell University)|Mar 30, 2018

Multimodal Machine Learning Applications参考文献 50被引用数 41

ひとこと要約

RecNet は双方向の video-to-caption および caption-to-video フローを活用するエンコーダ-デコーダ-再構成器を導入し、ビデオキャプションの精度を向上させる。

ABSTRACT

In this paper, the problem of describing visual contents of a video sequence with natural language is addressed. Unlike previous video captioning work mainly exploiting the cues of video contents to make a language description, we propose a reconstruction network (RecNet) with a novel encoder-decoder-reconstructor architecture, which leverages both the forward (video to sentence) and backward (sentence to video) flows for video captioning. Specifically, the encoder-decoder makes use of the forward flow to produce the sentence description based on the encoded video semantic features. Two types of reconstructors are customized to employ the backward flow and reproduce the video features based on the hidden state sequence generated by the decoder. The generation loss yielded by the encoder-decoder and the reconstruction loss introduced by the reconstructor are jointly drawn into training the proposed RecNet in an end-to-end fashion. Experimental results on benchmark datasets demonstrate that the proposed reconstructor can boost the encoder-decoder models and leads to significant gains in video caption accuracy.

研究の動機と目的

• 自動ビデオキャプション生成を動機づけ、前方のみのエンコーダ-デコーダモデルの限界に対処する。
• キャプションからビデオへのバックワードフローを利用する再構成モジュールを提案する。
• グローバル構造再構成子とローカル構造再構成子を統合してビデオの意味を保持する。
• フォワードキャプション損失とバックワード再構成損失を結合したエンドツーエンドの訓練。
• MSR-VTT と MSVD のベンチマークデータセットで利得を示す。

提案手法

• Inception-V4 を使用してビデオフレームをフレーム特徴にエンコードする。
• 注意機構付き LSTM デコーダを用いてエンコードされたビデオ特徴からキャプションを生成する。
• デコーダの隠れ状態を用いて元のビデオ特徴を再現する再構成器を導入する。
• 二つの再構成子バリアントを提供する: グローバル構造再構成子（平均プーリング）とローカル構造再構成子（注意機構ガイド）。
• ジョイント損失で訓練する: エンコーダ-デコーダの尤度と再構成損失を lambda で重み付け。
• BLEU-4、METEOR、ROUGE-L、CIDEr を用いて MSR-VTT と MSVD で評価する。

実験結果

リサーチクエスチョン

• RQ1 backward caption-to-video reconstruction loss を追加すると前方のみのエンコーダ-デコーダモデルよりビデオキャプションの品質が向上するか？
• RQ2 グローバル構造とローカル構造の再構成子はキャプション品質に異なる影響を与えるか？
• RQ3 トレードオフパラメータ lambda が性能に与える影響は？
• RQ4 RecNet のバリアントは MSR-VTT と MSVD でベースラインモデルと比べてどうなる？

主な発見

Model	BLEU-4	METEOR	ROUGE-L	CIDEr
RecNet global (MSR-VTT)	38.3	26.2	59.1	41.7
RecNet local (MSR-VTT)	39.1	26.6	59.3	42.7
SA-LSTM (Inception-V4)	36.3	25.5	58.3	39.9
SA-LSTM (VGG19)	35.6	25.4	-	-
RecNet global (S2VT)	42.9	32.3	68.5	69.3
RecNet local (S2VT)	43.7	32.7	68.6	69.8
RecNet global (SA-LSTM)	51.1	34.0	69.4	79.7
RecNet local (SA-LSTM)	52.3	34.1	69.8	80.3

• RecNet はグローバル再構成子でもローカル再構成子でも、MSR-VTT で BLEU-4、METEOR、ROUGE-L、CIDEr の全指標で標準のエンコーダ-デコーダモデルを上回る。
• Inception-V4 をエンコーダ、SA-LSTM デコーダとして用いた RecNet はいくつかのベースラインより高いスコアを得る。
• ローカル再構成子は一般にグローバル variant よりもわずかに良い結果を示す、より良い時系列ダイナミクスの保持による。
• MSR-VTT では RecNet with SA-LSTM が BLEU-4 39.1、CIDEr 42.7（ローカル）； BLEU-4 38.3、CIDEr 41.7（グローバル）。
• MSVD では SA-LSTM を用いた RecNet バリアントがリストされたモデルの中で最高性能（例: RecNet local SA-LSTM: BLEU-4 52.3, CIDEr 80.3）。
• Lambda は前方尤度と後方再構成のバランスを制御する；適切な非ゼロ Lambda は lambda=0 のときより性能を改善する。