[論文レビュー] Memory-augmented Attention Modelling for Videos

Rasool Fakoor, Abdelrahman Mohamed+3 more|arXiv (Cornell University)|Nov 7, 2016

Advanced Neural Network Applications参考文献 20被引用数 18

ひとこと要約

本稿では、動画の時間的依存関係をモデル化し、単語レベルの記述生成を向上させるために、過去の視覚的注意状態を記憶するメモリ拡張注意メカニズムを提案する。生成済みの単語に条件付けられた、注意を向けた動画フレームの記憶を維持することで、MSVDおよびCharadesのベンチマークで最先端の性能を達成し、外部の時間的特徴に依存せずに、BLEU-4およびMETEORスコアで先行研究を上回った。

ABSTRACT

We present a method to improve video description generation by modeling higher-order interactions between video frames and described concepts. By storing past visual attention in the video associated to previously generated words, the system is able to decide what to look at and describe in light of what it has already looked at and described. This enables not only more effective local attention, but tractable consideration of the video sequence while generating each word. Evaluation on the challenging and popular MSVD and Charades datasets demonstrates that the proposed architecture outperforms previous video description approaches without requiring external temporal video features.

研究の動機と目的

• 行動が複数のフレームにわたるが、すべてのフレームが同等に重要ではないという課題に対処するため、動画要約における長距離時間的依存関係をモデル化すること。
• 各単語を生成する際に、過去の注意状態を考慮できるようにすることで、動画記述生成を改善すること。
• 視覚的および言語的シーケンスを、シーケンス・トゥ・シーケンスフレームワーク内で共同でモデル化するメモリベースの注意メカニズムを開発すること。
• 光学フローまたはC3Dなどの外部時間的特徴を必要とせず、標準ベンチマークで最先端の性能を示すこと。
• 視覚言語アライメントを含む他のシーケンス・トゥ・シーケンスタスクに一般化可能なアーキテクチャを提供すること。

提案手法

• 本モデルは、動画フレームを処理し、フレームレベルの特徴を抽出するための時間的符号化モジュール（TEM）を備えた、メモリ拡張型再帰的エンコーダ・デコーダフレームワークを採用する。
• 視覚的メモリモジュール（VMM）は、動画フレームの符号化表現を記憶し、過去のフレームと生成済みの単語に基づいて更新される。
• 画像注意モジュール（IAM）は、現在の隠れ状態と過去の注意状態の記憶を用いて、動画フレームに対する注意を計算する。
• 注意メカニズムは、各単語生成ステップで関連するフレームを動的に選択し、デコード中に全動画シーケンスを考慮できるようにする。
• 言語生成のための交差エントロピー損失を用いて、バックプロパゲーション・スル・タイム（BPTT）により、エンド・ツー・エンドでモデルを訓練する。
• メモリコンponentは、過去の注意パターンを明示的に記憶・取得することで、フレーム間での視覚的概念の変化を追跡できる。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型注意メカニズムにより、単語生成時に過去の注意状態を考慮できるようになることで、動画要約の性能が向上するか？
• RQ2 光学フローまたはC3Dなどの外部時間的特徴を必要としない状況で、MSVDやCharadesといったベンチマークデータセットにおける本手法の性能は、最先端のモデルと比べてどの程度か？
• RQ3 メモリコンponentが、動画シーケンスにおける長距離時間的依存関係をどれほど効果的に捉える能力を向上させるか？
• RQ4 注意のみまたはメモリ非搭載のモデルと比較して、文の自然さや意味的正確性（例：METEOR、BLEU）の観点から、本モデルはより高い性能を達成するか？
• RQ5 本モデルは、視覚言語アライメントを含む他のシーケンス・トゥ・シーケンスタスクに一般化可能か？

主な発見

• 提案手法は、外部時間的特徴を一切使用しない状態で、MSVDデータセットにおいて最先端の性能を達成し、BLEU-4およびMETEORスコアで先行手法を上回った。
• Charadesデータセットでは、Venugopalan et al. (2015a)のベースラインから10％の相対的改善を達成し、低要約数の動画を含む困難なベンチマークでも優れた一般化性能を示した。
• MSVDではMETEORスコア22.8、BLEU-4スコア32.1を達成し、光学フローまたはC3D特徴を用いた手法を含む大多数の先行手法を上回った。
• アブレーションスタディの結果、画像注意モジュール（IAM）およびメモリコンponentが性能向上に顕著に寄与しており、特にメモリが長距離推論を改善していることが確認された。
• 強力な性能を発揮する一方で、顕著だが関連性のない物体（例：トランポリンで遊ぶ犬ではなく、男を注目する）に過剰に注目することで、誤った記述を生成する場合があるため、フレーム選択の改善の余地がある。
• 結果から、メモリ拡張型注意メカニズムが視覚的および言語的表現を効果的に統合し、一貫性があり文脈に即した要約生成を可能にしていることが示唆された。