[論文レビュー] Attention is all you need for Videos: Self-attention based Video Summarization using Universal Transformers

Manjot Bilkhu, Siyang Wang+1 more|arXiv (Cornell University)|Jun 6, 2019

Multimodal Machine Learning Applications参考文献 36被引用数 10

ひとこと要約

本論文は、特徴抽出にUniversal Transformersおよび3D CNN（C3D、Two-stream I3D）を用いた自己注意機構に基づく動画要約モデルを提案する。MSVDおよびActivityNetデータセットにおいて最先端の性能を達成し、無関係な領域が多数を占める場合でも関連する動画セグメントへの注目が優れていることを示し、BLEUスコアは競争力があり、重み共有のおかげでより高い耐性を示す。

ABSTRACT

Video Captioning and Summarization have become very popular in the recent years due to advancements in Sequence Modelling, with the resurgence of Long-Short Term Memory networks (LSTMs) and introduction of Gated Recurrent Units (GRUs). Existing architectures extract spatio-temporal features using CNNs and utilize either GRUs or LSTMs to model dependencies with soft attention layers. These attention layers do help in attending to the most prominent features and improve upon the recurrent units, however, these models suffer from the inherent drawbacks of the recurrent units themselves. The introduction of the Transformer model has driven the Sequence Modelling field into a new direction. In this project, we implement a Transformer-based model for Video captioning, utilizing 3D CNN architectures like C3D and Two-stream I3D for video extraction. We also apply certain dimensionality reduction techniques so as to keep the overall size of the model within limits. We finally present our results on the MSVD and ActivityNet datasets for Single and Dense video captioning tasks respectively.

研究の動機と目的

• 再帰的モデル（LSTM/GRU）の動画字幕生成における限界を是正するため、それらを注意ベースのアーキテクチャに置き換えること。
• 重み共有および反復的であるUniversal Transformers—重み共有型の反復的Transformer—が動画要約タスクにおいて有効であるかを検証すること。
• 単一および密度付きの動画字幕生成ベンチマーク（MSVDおよびActivityNet）上でモデルを評価し、スケーラビリティと性能を評価すること。
• Transformerにおける注意メカニズムが、再帰的モデルと比較して、動画の顕著な時間的セグメントをより効果的に特定できるかを調査すること。
• 次元削減および特徴抽出器の微調整を通じて、モデルの効率性と一般化性能を向上させること。

提案手法

• 動画入力から空間時間的特徴を抽出するために、C3DおよびTwo-stream I3Dの3D CNNを用い、動画を固定サイズの特徴ベクトルの系列に縮小する。
• 字幕生成ネットワークとしてUniversal Transformerを採用し、層間で重みを共有し、複数の層を経て表現を段階的に精錬する。
• モデルサイズと計算コストを制御しながら性能を維持するため、次元削減技術を適用する。
• 単一および密度付きの字幕生成タスクの両方で、正解字幕の交差エントロピー損失を用いて、エンドツーエンドでモデルを学習する。
• 訓練セット上でC3DおよびI3D特徴抽出器を微調整し、特定の字幕生成タスクに適応させる。
• 出力長が可変である場合の処理および学習安定性の向上のため、Universal Transformerにマスク付き自己注意機構を導入する。

実験結果

リサーチクエスチョン

• RQ1 Universal Transformerベースのアーキテクチャは、標準的なRNNベースのモデルを上回る性能を発揮するか？
• RQ2 自己注意機構は、再帰的ユニットと比較して、動画における長距離依存関係および顕著な時間的セグメントをどれほど効果的に捉えられるか？
• RQ3 Universal Transformersにおける次元削減および重み共有は、一般化性能の向上と過学習の低減にどの程度寄与するか？
• RQ4 本モデルは、単一および密度付きの動画字幕生成ベンチマークで、特に無関係な動画フレームの処理において、どの程度の性能を示すか？
• RQ5 3D CNN特徴抽出器の微調整は、事前学習済みモデルを用いる場合と比較して、字幕生成性能を向上させるか？

主な発見

• 本モデルは、MSVDおよびActivityNetデータセットの両方で競争力のあるBLEUスコアを達成しており、動画字幕生成における優れた性能を示している。
• 50％以上のフレームが情報のない場合でさえ、Universal Transformerは関連する動画セグメントに注目する能力を学習しており、頑健な注目メカニズムを示している。
• BLEUスコアは類似しているものの、重み共有のおかげで過学習が軽減されるため、標準的なTransformerと比較してより多様な字幕を生成している。
• ActivityNetでの定性的な例から、複雑な動画における被写体および行動の順序に対しても、一貫性のある字幕を効果的に生成できている。
• 失敗事例から、被写体および行動が正しく特定されていても、一貫性のある段落を形成するのが難しいという課題が明らかになった。これは、文構造の改善の余地があることを示唆している。
• C3DおよびI3D特徴抽出器の微調整により性能が向上したため、タスク固有の適応が特徴の関連性を高めることに寄与することが示された。