[論文レビュー] CERN: Confidence-Energy Recurrent Network for Group Activity Recognition

Tianmin Shu, Siniša Todorović+1 more|arXiv (Cornell University)|Apr 10, 2017

Human Pose and Action Recognition参考文献 23被引用数 15

ひとこと要約

CERNは、予測の信頼性を向上させるために、標準のソフトマックス出力をエネルギー層（EL）に置き換えるConfidence-Energy Recurrent Network（CERN）を提案する。このELは、p値を用いて同時に予測エネルギーを最小化し、信頼性を最大化することで、エンド・ツー・エンドの学習を可能にし、不確実性下でのより頑健な推論を実現する。バドミントンおよびCollective Activityデータセットにおいて、CERNは最先端の精度を達成し、CERN-2はグループ活動認識においてベースラインを最大8.5%上回る。また、入力の摂動に対して優れた数値安定性を示す。

ABSTRACT

This work is about recognizing human activities occurring in videos at distinct semantic levels, including individual actions, interactions, and group activities. The recognition is realized using a two-level hierarchy of Long Short-Term Memory (LSTM) networks, forming a feed-forward deep architecture, which can be trained end-to-end. In comparison with existing architectures of LSTMs, we make two key contributions giving the name to our approach as Confidence-Energy Recurrent Network -- CERN. First, instead of using the common softmax layer for prediction, we specify a novel energy layer (EL) for estimating the energy of our predictions. Second, rather than finding the common minimum-energy class assignment, which may be numerically unstable under uncertainty, we specify that the EL additionally computes the p-values of the solutions, and in this way estimates the most confident energy minimum. The evaluation on the Collective Activity and Volleyball datasets demonstrates: (i) advantages of our two contributions relative to the common softmax and energy-minimization formulations and (ii) a superior performance relative to the state-of-the-art approaches.

研究の動機と目的

• 入力の不確実性下における、階層的LSTM予測の脆さを是正すること。
• 複数の類似エネルギー解が存在するエネルギーベース推論における数値安定性を向上させること。
• p値を用いた統計的信頼性をエネルギー最小化プロセスに統合することで、予測の信頼性を向上させること。
• 信頼性とエネルギーを統合する微分可能なエネルギー層を備えた階層的LSTMアーキテクチャのエンド・ツー・エンド学習を可能とすること。
• グループ活動認識タスクにおいて、従来のソフトマックスベースおよび標準エネルギーベースLSTM手法を上回ること。

提案手法

• 2段階LSTM階層の出力部に、標準のソフトマックス層を置き換える新規な微分可能なエネルギー層（EL）を導入する。
• 個々の行動、相互作用、イベントレベルの予測間の依存関係を捉えるエネルギー関数を定義する。
• Fisherの統合検定p値を用いて各予測の信頼性を定量化し、エネルギー最小化における信頼性正則化を可能にする。
• p値制約を組み込んだエネルギーベース損失関数を提案し、数値安定性を向上させる。
• 人間の軌跡に基づく2段階LSTMアーキテクチャを採用：ノードLSTMは個々の行動を、エッジLSTMは相互作用を、イベントLSTMはグループ活動分類を担当する。
• 特徴の集約に、双方向LSTMと最大プーリング（チーム単位またはグローバル）を適用し、CERN-2では複雑なグループ活動認識のためのイベントレベルLSTMを追加する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックスをエネルギー層に置き換えることで、入力の不確実性下におけるグループ活動認識の頑健性が向上するか？
• RQ2 p値を信頼性指標として組み込むことで、深層再帰的ネットワークにおけるエネルギー最小化の数値安定性と信頼性が向上するか？
• RQ3 エネルギーの最小化と信頼性の最大化を同時に最適化することで、標準のソフトマックスおよびエネルギーベースのベースラインを上回る性能が得られるか？
• RQ4 イベントレベルLSTMの導入により、単なる個々の行動の総和ではない複雑なグループ活動の認識がどのように向上するか？
• RQ5 提案された信頼性-エネルギー正則化は、入力の歪み下での推論安定性をどの程度向上させるか？

主な発見

• CERN-2は、バドミントンデータセットにおいてグループ活動認識で74.5%の精度を達成し、最良のベースライン（B3）を8.5ポイント上回った。
• Collective Activityデータセットでは、CERN-1はソフトマックス出力を持つ強力な2段階LSTMベースラインを上回る精度を示し、より単純なグループ活動においても信頼性の向上を実証した。
• エネルギー層におけるp値正則化は、バドミントンデータセットにおける入力軌跡の破損下でも性能低下が顕著に減少することから、推論の安定性が著しく向上していることが示された。
• イベントレベルLSTMを備えたCERN-2はCERN-1を上回り、グループイベントを別段階としてモデル化することで、分解不能な複雑なグループ活動の認識が向上していることが示された。
• 定性的な結果から、個々の行動予測が曖昧または不正確であっても、CERNの推論はソフトマックスベースのモデルよりも頑健であることが明らかになった。
• p値正則化を施したエネルギーベース損失関数により、エンド・ツー・エンド学習が可能となり、複数の低エネルギー解が存在する曖昧な状況でもより信頼性の高い予測が得られた。