[論文レビュー] Video Summarisation by Classification with Deep Reinforcement Learning

Kaiyang Zhou, Tao Xiang+1 more|arXiv (Cornell University)|Jul 9, 2018

Video Analysis and Summarization被引用数 9

ひとこと要約

本論文は、深層強化学習（DQSN）を用いた弱教師あり動画要約手法を提案する。この手法は、動画レベルのカテゴリラベルを用いてフレーム選択をガイドする。事前学習済み分類ネットワークからのグローバルな認識可能性報酬と、新しい密なランクベースの報酬を組み合わせることで、長時間系列における報酬のスパarsityと遅延問題を効果的に解決し、TVSumおよびCoSumデータセットで最先端の性能を達成した。また、従来の弱教師あり手法よりも高速な推論を実現した。

ABSTRACT

Most existing video summarisation methods are based on either supervised or unsupervised learning. In this paper, we propose a reinforcement learning-based weakly supervised method that exploits easy-to-obtain, video-level category labels and encourages summaries to contain category-related information and maintain category recognisability. Specifically, We formulate video summarisation as a sequential decision-making process and train a summarisation network with deep Q-learning (DQSN). A companion classification network is also trained to provide rewards for training the DQSN. With the classification network, we develop a global recognisability reward based on the classification result. Critically, a novel dense ranking-based reward is also proposed in order to cope with the temporally delayed and sparse reward problems for long sequence reinforcement learning. Extensive experiments on two benchmark datasets show that the proposed approach achieves state-of-the-art performance.

研究の動機と目的

• 教師ありおよび教師なしの動画要約手法が直面する、手作業で設計された基準や高価なフレームレベルのアノテーションに依存する問題を解消すること。
• 容易にアノテート可能な動画レベルのカテゴリラベルのみを用いて、スケーラブルでコンテンツに特化した要約手法を開発すること。
• 長時間系列における報酬のスパarsityと遅延問題を軽減することで、強化学習に基づく要約手法の性能を向上させること。
• フレーム選択を意味的コンテンツと整合させることで、要約におけるカテゴリ認識可能性を維持すること。
• 著しく少ない監視情報で、教師あり手法と同等の性能を達成すること。

提案手法

• フレームの削除は、将来の報酬の予測に基づいて決定される深層Q学習（DQSN）を用いた逐次的意思決定プロセスとして動画要約を定式化する。
• 要約が依然としてその動画カテゴリに正しく分類可能かどうかに基づいて、グローバルな認識可能性報酬を提供するため、教師あり交差エントロピー損失で学習された補助の再帰的分類ネットワークを採用する。
• 各フレームの相対的重要性を、そのフレームを削除した際の真のカテゴリの分類ランクへの影響を評価することで測る、新しい密なランクベースの報酬を導入する。
• グローバルな認識可能性報酬と密な局所報酬を組み合わせることで、信用配分を改善し、長時間系列における効果的な学習を可能にする。
• 経験再生とターゲットネットワークを用いた深層Q学習によりDQSNを訓練する。
• 2段階の訓練パイプラインを採用：まず動画レベルのラベルで分類ネットワークを事前学習し、次に強化学習でDQSNをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 フレームレベルのアノテーションが一切不要な状態で、動画レベルのカテゴリラベルのみを用いて要約を有効に学習できるか。
• RQ2 長時間系列における強化学習の報酬のスパarsityと時間的遅延問題を、動画要約の文脈でどのように軽減できるか。
• RQ3 分類ランクの変化に基づく密なフレームレベル報酬は、グローバル報酬のみに比べて要約性能を向上させることができるか。
• RQ4 本手法は、教師ありおよび教師なしのベースラインと比較して、性能およびスケーラビリティの面で優れているか。
• RQ5 本モデルは、多様な動画コンテンツに一般化可能であり、意味的コンテンツと時間的整合性を保っているか。

主な発見

• 提案手法DQSNは、TVSumおよびCoSumの両データセットで最先端の性能を達成し、既存の教師なしおよび弱教師あり手法を上回った。
• 前回のSOTA手法DR-DSNと比較して、TVSumではFスコアを1.0%、CoSumでは4.3%向上させた。
• 弱教師ありのBackprop-Grad手法と比較して、両データセットで5.9%の性能向上を達成し、密な報酬を組み合わせた強化学習フレームワークの有効性を示した。
• アブレーションスタディの結果、グローバル報酬と局所報酬の組み合わせ（r^g + r^l）が最良の性能をもたらし、特に局所報酬がフレーム選択の正確性を顕著に向上させた。
• DQSNはBackprop-Gradの2倍以上高速であり、1動画あたり1.43秒で実行された（Backprop-Gradは3.21秒）。これは1回の順伝播とメモリ使用量の削減によるものである。
• 定性的な結果から、DQSNはカテゴリ関連フレーム（例：グルーミングシーン）を効果的に捉え、時間的ストーリーを保った一方で、他の手法が誤って選択してしまう無関係なフレームを回避していることがわかった。