[論文レビュー] Evidential Deep Learning for Open Set Action Recognition

Wentao Bao, Qi Yu+1 more|arXiv (Cornell University)|Jul 21, 2021

Human Pose and Action Recognition参考文献 53被引用数 10

ひとこと要約

本稿では、予測不確実性を定量化することで未知のアクションを既知のアクションと区別できるようにする、証拠的ディープラーニングを用いたオープンセットアクション認識の新規手法、Deep Evidential Action Recognition (DEAR) を提案する。Evidential Uncertainty Calibration (EUC) と対照的証拠的バイアス除去 (CED) を統合することで、未知のアクションや静的背景バイアスに対してより頑健な性能を発揮し、UCF-101、HMDB-51、Mimetics データセットにおいて複数のモデルとベンチマークで一貫した性能向上を達成する。

ABSTRACT

In a real-world scenario, human actions are typically out of the distribution from training data, which requires a model to both recognize the known actions and reject the unknown. Different from image data, video actions are more challenging to be recognized in an open-set setting due to the uncertain temporal dynamics and static bias of human actions. In this paper, we propose a Deep Evidential Action Recognition (DEAR) method to recognize actions in an open testing set. Specifically, we formulate the action recognition problem from the evidential deep learning (EDL) perspective and propose a novel model calibration method to regularize the EDL training. Besides, to mitigate the static bias of video representation, we propose a plug-and-play module to debias the learned representation through contrastive learning. Experimental results show that our DEAR method achieves consistent performance gain on multiple mainstream action recognition models and benchmarks. Code and pre-trained models are available at {\small{\url{https://www.rit.edu/actionlab/dear}}}.

研究の動機と目的

• 分布外のアクションが存在する現実世界のシナリオにおいて、既知のアクションを認識し、未知のアクションを拒否できるよう、オープンセットアクション認識（OSAR）の課題に取り組む。
• 動画データに内在する時間的ダイナミクスと静的バイアスを処理できない既存の画像ベースのオープンセット認識手法の限界を克服する。
• 証拠的ディープラーニング（EDL）を用いた原理的で不確実性推定フレームワークを構築し、分布外のアクションに対して高い不確実性を割り当てることで、モデルが「未知を知る」能力を獲得できるようにする。
• モデルが背景の手がかり（例：「水」や「空」）に依存する静的バイアスを軽減することで、文脈外のアクションへの一般化性能を向上させる。
• バックボーンモデルの再訓練を必要としない、プラグアンドプレイ型モジュールを設計し、対照的ラーニングを用いて表現をバイアスに依存しないものにすることで、オープンセット状況における頑健性を向上させる。

提案手法

• 各クラスの確率に対する証拠を表すディリクレ分布を予測するように、アクション認識を証拠的ディープラーニング（EDL）の問題として定式化する。
• 予測の過信を防ぐために、証拠的学習プロセスを正則化する新しい損失関数、Evidential Uncertainty Calibration (EUC) を導入する。特にクローズドセットの状況において有効である。
• 正例と負例の動画クリップを対比することで、バイアスに依存しない表現を学習する、対照的証拠的バイアス除去（CED）モジュールを提案する。
• EUC と CED を既存のアクション認識モデル（例：TPN、TSM、I3D）にプラグアンドプレイで統合し、最小限のアーキテクチャ変更でエンドツーエンド学習を可能にする。
• 予測不確実性（証拠から導出）を用いて未知のアクションを特定する：高い不確実性は未知クラスの拒否を示す。
• モンテカルロサンプリングや事後分布の近似を必要とせず、ディリクレ分布の性質を直接利用することで、効率的かつスケーラブルな不確実性推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 証拠的ディープラーニングは、オープンセット認識のための原理的な不確実性推定を可能にするように、動画アクション認識に効果的に適応可能か？
• RQ2 提案された Evidential Uncertainty Calibration (EUC) 損失は、特にオープンセット状況下で、モデルのキャリブレーションを改善し、過信を低減するか？
• RQ3 対照的ラーニングは、「水」や「空」のような静的背景手がかりへの依存を低減することで、動画表現のバイアス除去に効果的か？
• RQ4 EUC と CED の組み合わせは、HMDB-51 や Mimetics のようなベンチマークデータセットにおいて、未知のアクションへの一般化性能をどの程度向上させるか？
• RQ5 DEAR は、TPN や TSM、I3D などの多様なバックボーンモデルにおいて、クローズドセットとオープンセットの両状況でどの程度の性能を発揮するか？

主な発見

• TPN バックボーンを用いた UCF-101 において、HMDB-51 を未知データとして、トップ1正解率 81.79%、オープンセット F1 スコア 79.23% を達成し、既存手法を上回る。
• EUC 損失により、オープンセット状況下で期待キャリブレーション誤差（ECE）が 0.284 から 0.268 に低下し、モデルのキャリブレーションが向上し、過信が軽減されたことが示された。
• CED モジュールにより、Kinetics プリトレーニング済みモデルを用いた場合、バイアスのない Mimetics データセットにおけるトップ1正解率が 26.56% から 34.38% に向上し、効果的なバイアス除去が確認された。
• Mimetics データセットにおいて、DEAR は CED を用いてトップ1正解率 34.38% を達成し、ベースライン（26.56%）を顕著に上回り、文脈外のアクションに対しても頑健であることが示された。
• 混同行列の分析から、DEAR を用いない場合、HMDB-51 の「ボールをシュートする」のような未知のアクションが、UCF-101 の「アーチェリー」と誤って分類されることが判明した。これは静的背景バイアスに起因する。
• DEAR は、クローズドセット認識においても高い性能（例：Kinetics でトップ1正解率 91.18%）を維持しながら、同時にオープンセット一般化性能も向上させることを示しており、二重の有効性が裏付けられた。