[論文レビュー] Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward

Kaiyang Zhou, Yu Qiao+1 more|arXiv (Cornell University)|Dec 29, 2017

Video Analysis and Summarization被引用数 78

ひとこと要約

この論文は、新規の自己教師なし多様性-代表性報酬（DR報酬）を強化学習で訓練したエンドツーエンドの深層要約ネットワーク（DSN）を導入し、教師あり手法に匹敵する自己教師なしの動画要約を実現する。

ABSTRACT

Video summarization aims to facilitate large-scale video browsing by producing short, concise summaries that are diverse and representative of original videos. In this paper, we formulate video summarization as a sequential decision-making process and develop a deep summarization network (DSN) to summarize videos. DSN predicts for each video frame a probability, which indicates how likely a frame is selected, and then takes actions based on the probability distributions to select frames, forming video summaries. To train our DSN, we propose an end-to-end, reinforcement learning-based framework, where we design a novel reward function that jointly accounts for diversity and representativeness of generated summaries and does not rely on labels or user interactions at all. During training, the reward function judges how diverse and representative the generated summaries are, while DSN strives for earning higher rewards by learning to produce more diverse and more representative summaries. Since labels are not required, our method can be fully unsupervised. Extensive experiments on two benchmark datasets show that our unsupervised method not only outperforms other state-of-the-art unsupervised methods, but also is comparable to or even superior than most of published supervised approaches.

研究の動機と目的

• グラウンドトゥルース要約の主観性を考慮した自己教師なし動画要約を動機づける。
• 重要フレームを選択するための連続的意思決定問題として動画要約を定式化する。
• フレーム選択確率を出力する深層要約ネットワーク（DSN）を開発する。
• 多様性と代表性を組み合わせたラベル不要のDR報酬を設計する。
• アノテーションが利用可能な場合に、監督付きバリアントへフレームワークを拡張する。

提案手法

• CNN（GoogLeNet）でフレームをエンコードして特徴を抽出する。
• 双方向LSTMでデコードしてフレーム選択確率を生成する。
• 予測確率からフレームごとに二値アクションをサンプリングする。
• DR報酬（Rdiv + Rrep）を最大化するようにポリシー勾配（REINFORCE）で訓練する。
• 最適化時に割合正則化と重み正則化を課す。
• 注釈付きの重要フレームの対数確率を最大化することで、監督付き目的を任意に組み込む。

実験結果

リサーチクエスチョン

• RQ1 多様性-代表性報酬を用いた強化学習は、完全な自己教師なし動画要約を実現できるか。
• RQ2 多様性と代表性の要素は、高品質な要約を生み出す際にどのように相互作用するか。
• RQ3 SumMeとTVSumにおいて、自己教師なしのDR-DSNは監督ありの手法とどのように比較されるか。
• RQ4 監督付きへ拡張すると性能はさらに向上するか。

主な発見

• DR-DSNはSumMeとTVSumで他の自己教師なし手法を上回る。
• 自己教師なしのDR-DSNは、試験されたデータセット上で多くの監督あり手法に匹敵するか、もしくは優れている。
• RdivとRrepを併用することで、どちらか一方の報酬だけを使用するより良い要約になる。
• 監督付き拡張 DR-DSN_sup は、いくつかの設定で自己教師なしバージョンを超える結果をさらに改善する。
• このアプローチは、人間が決定した重要フレームと強い定性的整合性を示す。