[論文レビュー] RED: Reinforced Encoder-Decoder Networks for Action Anticipation

Jiyang Gao, Zhenheng Yang+1 more|arXiv (Cornell University)|Jul 16, 2017

Human Pose and Action Recognition参考文献 14被引用数 23

ひとこと要約

本論文では、複数の過去フレーム表現を活用して将来の視覚的特徴の系列を予測する、強化学習を組み込んだエンコーダ・デコーダネットワークであるREDを提案する。序列レベルの監視を強化学習と組み合わせることで、早期かつ正確な予測に報酬を与えることで、TVSeries、THUMOS-14、TV-Human-Interactionデータセットで最先端の性能を達成した。

ABSTRACT

Action anticipation aims to detect an action before it happens. Many real world applications in robotics and surveillance are related to this predictive capability. Current methods address this problem by first anticipating visual representations of future frames and then categorizing the anticipated representations to actions. However, anticipation is based on a single past frame's representation, which ignores the history trend. Besides, it can only anticipate a fixed future time. We propose a Reinforced Encoder-Decoder (RED) network for action anticipation. RED takes multiple history representations as input and learns to anticipate a sequence of future representations. One salient aspect of RED is that a reinforcement module is adopted to provide sequence-level supervision; the reward function is designed to encourage the system to make correct predictions as early as possible. We test RED on TVSeries, THUMOS-14 and TV-Human-Interaction datasets for action anticipation and achieve state-of-the-art performance on all datasets.

研究の動機と目的

• 単一フレームの履歴に依存する既存の行動予測手法の限界を解消すること。
• 複数の歴史的視覚的表現を用いて時間的傾向をモデル化することで、行動予測を改善すること。
• 固定時間の予測ではなく、連続的で複数ステップの将来表現予測を可能にすること。
• 強化学習を用いて予測系列を一括最適化し、早期かつ正確な予測を促進すること。
• 行動予測およびオンライン行動検出のベンチマークデータセットで最先端の性能を達成すること。

提案手法

• REDネットワークは、過去の視覚的特徴の系列を入力とし、将来の特徴の系列を出力するエンコーダ・デコーダアーキテクチャを採用する。
• エンコーダはCNNまたはツートラックネットワークを用いて履歴の視覚的特徴を処理し、デコーダは段階的に将来の特徴を生成する。
• 序列レベルの監視を提供するための強化学習モジュールを導入し、遅延または誤った予測にはペナルティを、早期の正しい予測には報酬を与える報酬関数を設計した。
• 2段階のプロセスでモデルを訓練する：まずクロスエントロピーと平均二乗誤差損失を用いて行動分類と特徴予測を最適化し、その後強化学習の報酬でファインチューニングを行う。
• 報酬関数は、将来の全系列にわたる正しい予測の累積リターンを最大化するように設計されており、早期かつ正確な予測を促進する。
• 2種類の視覚的特徴を用いる：ツートラックのオプティカルフローとRGB特徴、およびVGG-16特徴を用い、耐性と性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 単一フレームの履歴符号化と比較して、複数の過去フレームにおける時間的傾向のモデル化は、行動予測性能の向上に寄与するか？
• RQ2 強化学習による序列最適化は、標準的なグリーディ最適化と比較して、より早期かつ正確な行動予測を可能にするか？
• RQ3 統一されたエンコーダ・デコーダフレームワークは、単一の固定時間予測ではなく、将来の特徴の系列を効果的に予測できるか？
• RQ4 提案されたREDモデルは、行動予測およびオンライン行動検出の両設定において、最先端の手法と比較してどのように性能を発揮するか？
• RQ5 強化学習モジュールは、多様なデータセットにわたり、一般化能力および早期予測能力をどの程度向上させるか？

主な発見

• TVSeriesデータセットでは、2ストリーム特徴を用いて0.25秒の予測時間でcAP 79.2%を達成し、以前の最先端手法を大きく上回った。
• THUMOS-14では、0.25秒の予測時間でフレーム単位のmAP 45.3%を達成し、以前の最良手法（MultiLSTM）を4.0ポイント上回った。
• 強化学習モジュールは、TVSeriesおよびTHUMOS-14の全予測時間（0.25秒から2.0秒）において一貫して性能を向上させ、序列最適化の有効性を示した。
• アブレーションスタディの結果、REDアーキテクチャに強化学習を組み込んだモデルは、TVSeriesでベースラインのエンコーダ・デコーダ（ED）モデルと比較してcAPで最大1.5%向上し、THUMOS-14ではmAPで最大1.5%向上した。
• 結果から、複数フレーム履歴符号化と序列レベルの強化学習監視の組み合わせが、予測の正確性とタイムリーさを顕著に向上させることを示した。
• オンライン行動検出（$T_a = 0$）におけるモデルの性能も最先端であり、異なる予測設定への一般化能力を確認した。