[論文レビュー] Less Is More: Picking Informative Frames for Video Captioning

Yangyu Chen, Shuhui Wang+2 more|arXiv (Cornell University)|Mar 5, 2018

Multimodal Machine Learning Applications参考文献 39被引用数 26

ひとこと要約

この論文では、動画キャプションのための強化学習ベースのフレーム選択手法であるPickNetを提案する。PickNetは1動画あたり6〜8枚の情報量の多いフレームを特定することで、性能を維持しつつ計算コストを顕著に削減する。視覚的多様性を最大化し、キャプションの不一致を最小限に抑えることで、性能の低下を伴わずに動画入力を圧縮するキーフレームを逐次選択する。

ABSTRACT

In video captioning task, the best practice has been achieved by attention-based models which associate salient visual components with sentences in the video. However, existing study follows a common procedure which includes a frame-level appearance modeling and motion modeling on equal interval frame sampling, which may bring about redundant visual information, sensitivity to content noise and unnecessary computation cost. We propose a plug-and-play PickNet to perform informative frame picking in video captioning. Based on a standard Encoder-Decoder framework, we develop a reinforcement-learning-based procedure to train the network sequentially, where the reward of each frame picking action is designed by maximizing visual diversity and minimizing textual discrepancy. If the candidate is rewarded, it will be selected and the corresponding latent representation of Encoder-Decoder will be updated for future trials. This procedure goes on until the end of the video sequence. Consequently, a compact frame subset can be selected to represent the visual information and perform video captioning without performance degradation. Experiment results shows that our model can use 6-8 frames to achieve competitive performance across popular benchmarks.

研究の動機と目的

• 均一にサンプリングされたフレームを用いる従来の動画キャプションパイプラインにおける非効率性と冗長性を解消すること。
• 動画キャプションにおける計算コストの低減と、ぼやけや遮蔽などの視覚的ノイズへの感受性の低減。
• 意味的豊かさを保持しつつ、エンコーディングに使用するフレーム数を最小限に抑えることでモデルの効率性を向上させること。
• 動的かつ適応的なフレーム選択により、リアルタイムおよびストリーミング動画キャプションを可能にすること。
• 既存のエンコーダ・デコーダ型動画キャプションフレームワークと互換性のあるプラグアンドプレイモジュールの開発。

提案手法

• カスタム報酬関数を用いて、強化学習エージェントが逐次的に情報量の多いフレームを選択するように訓練する。
• 報酬関数を設計し、選択されたフレーム間の視覚的多様性を最大化し、正解キャプションからのテキスト的不一致を最小限に抑える。
• 標準的なエンコーダ・デコーダアーキテクチャを動画キャプションに用い、フレームが選択された際のみエンコーダーを更新する。
• 累積報酬に基づいてウィナー・トゥク・アラウンド戦略を適用し、コンactかつ代表的なフレーム集合を保証する。
• 主なキャプションモデルの前にPickNetを統合し、さまざまな最先端手法と互換性を持つようにする。
• リアルタイムでフレームを処理し、キャプション品質を段階的に向上させるフレームのみを選択することで、オンライン推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのフレーム選択機構は、性能の低下を伴わずに動画キャプションにおける入力フレーム数を削減できるか？
• RQ2 視覚的多様性とキャプションの正確性は、動画キャプションにおける効果的なフレーム選択にどのように寄与するか？
• RQ3 フレーム選択によって計算コストをどの程度低減できるか、かつ標準ベンチマーク上で競争力のある性能を維持できるか？
• RQ4 提案手法は低遅延かつ高応答性を備えたストリーミング動画キャプションに適用可能か？
• RQ5 フレーム選択の分布が動画時間内にどのように分布しているかは、モデルが重要コンテンツをどのように理解しているかを反映しているか？

主な発見

• PickNetは1動画あたり6〜8枚のフレームのみを用いることで、競争的な性能を達成し、従来手法と比較して計算コストを最大80%まで削減した。
• MSR-VTTベンチマークにおいて、PickNet (V+L) はCIDErスコア42.1を達成し、ベースライン（41.2）を上回り、10枚未満のフレームで最先端モデルと同等の性能を発揮した。
• MSVDでは平均6枚、MSR-VTTでは平均8枚のフレームが選択されており、33%のフレームで効果的なキャプションが可能であることが示された。
• フレーム選択の分布はパワーロウ分布を示しており、初期フレームに傾倒している。これは、多くの動画がシングルショット性質を持つことと整合的である。
• 推論時間を1倍（ベースラインの3.8倍）にまで短縮し、比較手法の中で最も速い。
• コンテンツノイズに対して頑健であり、補助的属性情報がなくても、他の最先端モデルと同様に性能を維持した。