[論文レビュー] Temporal Deformable Convolutional Encoder-Decoder Networks for Video Captioning

Jingwen Chen, Yingwei Pan+4 more|arXiv (Cornell University)|May 3, 2019

Multimodal Machine Learning Applications参考文献 40被引用数 12

ひとこと要約

本稿では、再帰的ネットワークの代わりにスタックされた時系列可変畳み込みを用いることで、並列学習と長距離モデリングの向上を実現する、動画キャプションのための新しい畳み込みエンコーダ・デコーダアーキテクチャ、TDConvEDを提案する。エンコーダで可変畳み込みを活用し、デコーダで時系列アテンションを組み合わせることで、MSVDで67.2%のCIDEr-Dスコアを達成し、RNNベースのベースラインを著しく上回り、完全並列化による高速な学習を実現した。

ABSTRACT

It is well believed that video captioning is a fundamental but challenging task in both computer vision and artificial intelligence fields. The prevalent approach is to map an input video to a variable-length output sentence in a sequence to sequence manner via Recurrent Neural Network (RNN). Nevertheless, the training of RNN still suffers to some degree from vanishing/exploding gradient problem, making the optimization difficult. Moreover, the inherently recurrent dependency in RNN prevents parallelization within a sequence during training and therefore limits the computations. In this paper, we present a novel design --- Temporal Deformable Convolutional Encoder-Decoder Networks (dubbed as TDConvED) that fully employ convolutions in both encoder and decoder networks for video captioning. Technically, we exploit convolutional block structures that compute intermediate states of a fixed number of inputs and stack several blocks to capture long-term relationships. The structure in encoder is further equipped with temporal deformable convolution to enable free-form deformation of temporal sampling. Our model also capitalizes on temporal attention mechanism for sentence generation. Extensive experiments are conducted on both MSVD and MSR-VTT video captioning datasets, and superior results are reported when comparing to conventional RNN-based encoder-decoder techniques. More remarkably, TDConvED increases CIDEr-D performance from 58.8% to 67.2% on MSVD.

研究の動機と目的

• 勾配消失／爆発と逐次計算のボトルネックといったRNNベースの動画キャプションモデルの限界を克服すること。
• エンコーダおよびデコーダの両方でRNNの代わりにフィードフォワード畳み込みを用いることの可能性と有効性を検討すること。
• 動画内の動的な時間的構造を捉えるために、エンコーダに時系列可変畳み込みを導入し、長距離時間的モデリングを向上させること。
• 再帰的依存関係を排除することで、学習中に完全な並列化を実現し、学習効率を向上させること。
• スタックされた畳み込みブロックと時系列アテンション機構の組み合わせにより、文生成の質を向上させること。

提案手法

• エンコーダの入力として、サンプリングされた動画フレームまたはクリップから標準的なCNNを用いて視覚的特徴を抽出する。
• 各フレーム／クリップごとの中間的文脈表現を生成するために、畳み込みブロックのスタックをエンコーダに実装し、ブロック数によって受容 field のサイズを制御する。
• 時間的特徴の自由形式サンプリングを可能にするために、エンコーダに時系列可変畳み込みを導入し、動的なアクションやシーンチェンジのモデリングを改善する。
• すべての中間フレーム／クリップ特徴に対してグローバル平均プーリングを適用して、動画レベルの表現を計算する。
• デコーダでは、生成済みの単語の単語埋め込みと動画レベル特徴の連結を処理するフィードフォワード畳み込みブロックを用い、次の単語を予測する。
• 文生成中に関連する動画特徴に注目する時系列アテンション機構を統合し、視覚的コンテンツと生成された文との整合性を高める。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込み型エンコーダ・デコーダアーキテクチャは、RNNベースのモデルを上回り、並列学習を可能にするか？
• RQ2 エンコーダに時系列可変畳み込みを用いることで、動画における長距離および動的な時間的依存関係のモデリングがどの程度向上するか？
• RQ3 複数の畳み込みブロックをスタックすることで、動画キャプションにおける長距離文脈学習がどの程度向上するか？
• RQ4 畳み込み型デコーダに時系列アテンション機構を統合することで、標準的なアテンション機構と比較して文生成の質がどの程度向上するか？
• RQ5 RNNを畳み込み層に置き換えることで、学習速度と最適化の安定性にどのような影響が生じるか？

主な発見

• TDConvEDはMSVDデータセットで67.2%のCIDEr-Dスコアを達成し、以前のSOTA RNNベースのモデル（58.8%）を著しく上回った。
• 標準畳み込みを用いたベースライン（TDConvED 1）と比較して、エンコーダに時系列可変畳み込みを導入したモデル（TDConvED 2）が優れた性能を示し、可変サンプリングの有効性を裏付けた。
• 時系列アテンション機構の追加によりさらなる性能向上が見られたことから、関連する視覚的キューと生成された単語の対応付けにその価値があることが示された。
• MP-LSTMと比較して、学習速度が約2.2倍向上し、同じハードウェア上での1エポックあたりの学習時間は、TDConvEDが1070秒、MP-LSTMが2370秒であった。
• エンコーダおよびデコーダにおける最適なスタックされた畳み込みブロックの数は2であった。ブロック数を増加または減少させると性能が低下したため、容量と一般化性能のトレードオフが明確に示された。
• 定性的な結果から、TDConvEDはより正確で文脈的に適切なキャプションを生成しており、たとえば「歩行」ではなく「ダンス」と正しく特定したり、「タマネギ」を重要なオブジェクトとして正しく特定するなど、より優れた長距離モデリングの恩恵を受けていた。