[論文レビュー] Translating Videos to Natural Language Using Deep Recurrent Neural Networks

Subhashini Venugopalan, Huijuan Xu+4 more|arXiv (Cornell University)|Dec 15, 2014

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）を用いた視覚的特徴抽出と、長短期記憶（LSTM）ネットワークを用いた系列生成を統合した統一アーキテクチャを採用し、ビデオクリップを直接自然言語文に翻訳するエンドツーエンドのディープニューラルネットワークを提案する。大規模な画像分類および画像キャプションデータセットからの知識の転送により、先行手法と比較して文の流暢さ、正確性、関連性が顕著に向上した、動画記述タスクにおける最先端の性能を達成する。

ABSTRACT

Solving the visual symbol grounding problem has long been a goal of artificial intelligence. The field appears to be advancing closer to this goal with recent breakthroughs in deep learning for natural language grounding in static images. In this paper, we propose to translate videos directly to sentences using a unified deep neural network with both convolutional and recurrent structure. Described video datasets are scarce, and most existing methods have been applied to toy domains with a small vocabulary of possible words. By transferring knowledge from 1.2M+ images with category labels and 100,000+ images with captions, our method is able to create sentence descriptions of open-domain videos with large vocabularies. We compare our approach with recent work using language generation metrics, subject, verb, and object prediction accuracy, and a human evaluation.

研究の動機と目的

• 大規模な語彙と限られたアノテート済みトレーニングデータを有する、オープンドメインかつ実世界のビデオに対して自然言語の記述を生成する課題に取り組む。
• 中間の意味的役割表現や固定された文構造に依存する従来手法の制限を克服する。
• 画像およびキャプションデータセットの豊富な知識を動画ドメインに転送することで、動画記述の品質を向上させる。
• 中間の監視なしに、視覚的意味状態と流暢な言語生成を同時に学習可能なエンドツーエンドでトレーニング可能なモデルを開発する。
• YouTubeビデオコーパスを用いた自動評価指標、ゼロショット転送、人的評価を通じて、モデルの性能を評価する。

提案手法

• モデルは、各ビデオフレームからの空間的特徴を抽出するために事前学習済みの畳み込みニューラルネットワーク（CIFAR-10/ILSVRC2012）を用いる。
• 全フレームからの視覚的特徴が時系列にプーリング（平均プーリング）され、要約された動画レベルの表現が形成される。
• 深層の長短期記憶（LSTM）再帰的ネットワークが、プールされた視覚的特徴を条件として、トークン単位で自然言語文を生成する。
• LSTMは、豊かな言語的パターンと意味的構成を学ぶために、画像キャプションデータセット（Flickr30kおよびCOCO）で事前学習される。
• 画像分類および画像キャプションの事前学習からの重み初期化により、知識転送が実現される。
• 全ネットワークがYouTube動画記述データセット上でエンドツーエンドで微調整され、動画固有の特徴および言語パターンに適応する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープニューラルネットワークは、生のビデオピクセルを流暢で文法的に正しい自然言語文に効果的に翻訳できるか？
• RQ2 画像分類および画像キャプションデータセットからの知識転送は、限られた動画固有のトレーニングデータを有する動画記述タスクの性能をどのように向上させるか？
• RQ3 個々のフレームではなく、フレームレベル特徴の平均プーリングを用いることで、動画記述の品質がどの程度向上するか？
• RQ4 大規模な画像およびキャプションデータでの事前学習は、動画記述における主語・動詞・目的語の予測精度をどの程度向上させるか？
• RQ5 文の流暢さ、文法的正しさ、人的関連性の観点から、本手法のモデルはテンプレートベースまたは役割ベースのアプローチと比べてどの程度優れているか？

主な発見

• 提案されたエンドツーエンドのCNN-LSTMモデルは、YouTube動画記述データセットにおいて、自動評価指標および人的評価の両面で、従来の最先端手法を上回る性能を達成した。
• COCOおよびFlickr30kの画像キャプションデータセットでの事前学習により、動画データでの学習のみと比較して、主語・動詞・目的語の予測精度が顕著に向上した。
• COCO2014で事前学習したモデルが最大の性能向上を示し、大規模な画像キャプションデータが動画記述に非常に効果的であることを示している。
• フレーム特徴の平均プーリングは、個々のフレームを用いる場合よりも顕著に高い性能を示しており、より代表的な動画レベルの意味を捉えていることが示唆された。
• 人的評価では、生成された文が従来モデルよりも動画の内容に関連性が高くなったが、テンプレートベースのシステムと比較して文法的正しさの面で課題が残った。
• 画像キャプションデータからの転移学習により、モデル出力と人的アノテーションとの性能ギャップが縮小され、補助データの価値が裏付けられた。