[論文レビュー] Informed Democracy: Voting-based Novelty Detection for Action Recognition

Alina Roitberg, Ziad Al-Halah+1 more|arXiv (Cornell University)|Oct 30, 2018

Anomaly Detection Techniques and Applications被引用数 14

ひとこと要約

本稿では、ベイジアンニューラルネットワークからの予測不確実性を用いて、未知の行動クラスを同定する投票ベースの新奇性検出フレームワークを提案する。高信頼度の予測に注目した分類器の「知的民主主義」を形成することで、UCF-101およびHMDB-51で最先端手法を上回り、UCF-101では97.52%のPR AUCを達成し、一般化ゼロショット学習の精度を顕著に向上させる。

ABSTRACT

Novelty detection is crucial for real-life applications. While it is common in activity recognition to assume a closed-set setting, i.e. test samples are always of training categories, this assumption is impractical in a real-world scenario. Test samples can be of various categories including those never seen before during training. Thus, being able to know what we know and what we do not know is decisive for the model to avoid what can be catastrophic consequences. We present in this work a novel approach for identifying samples of activity classes that are not previously seen by the classifier. Our model employs a voting-based scheme that leverages the estimated uncertainty of the individual classifiers in their predictions to measure the novelty of a new input sample. Furthermore, the voting is privileged to a subset of informed classifiers that can best estimate whether a sample is novel or not when it is classified to a certain known category. In a thorough evaluation on UCF-101 and HMDB-51, we show that our model consistently outperforms state-of-the-art in novelty detection. Additionally, by combining our model with off-the-shelf zero-shot learning (ZSL) approaches, our model leads to a significant improvement in action classification accuracy for the generalized ZSL setting.

研究の動機と目的

• 実世界の行動認識において頻繁に出現する未知の行動の存在を踏まえ、閉集合仮定の重大な制限を是正すること。
• テストサンプルが以前に観測されていない行動クラスに属するかどうかを検出する堅牢な手法を開発すること。
• モデルが自分自身が知らないことを認識できるようにし、分布外の入力に対して深刻な失敗を回避すること。
• 新奇性検出を一般化ゼロショット学習（GZSL）と統合し、既知および未知の両方の行動分類精度を向上させること。
• 標準ベンチマーク上でオープンセット行動認識を形式的に定式化・評価し、新奇性検出およびGZSLのための新しい評価プロトコルを提供すること。

提案手法

• MCドロップアウトを活用し、深層ニューラルネットワークにおける予測不確実性を推定することで、ベイジアン推論を近似する。
• 各テストサンプルに対して、最も信頼度が高い分類器（「リーダー」）を特定し、そのクラスに注目した分類器のサブセットから投票評議会を構成する。
• 評議会は、その不確実性推定に基づき、サンプルが新奇であるか否かを投票する。不確実性が高い場合、新奇性を示唆する。
• 投票閾値を適用して、サンプルが既知のクラスに分類されるか、新奇として拒否されるかを決定する。
• 新奇性検出器を一般化ゼロショット学習（GZSL）パイプラインに統合し、未知のサンプルをZSLモデルにルーティングし、既知のサンプルは通常の分類器に送る。
• 新奇性検出の評価指標として受信器操作特性曲線および精密再現曲線の下側面積（AUC）を用い、GZSLの評価指標として既知／未知の精度の調和平均を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンディープラーニングからの予測不確実性は、動画認識における新奇行動クラスの検出に効果的に利用可能か？
• RQ2 不確実性を考慮した分類器のアンサンブルによる投票は、個々のモデルに比べて新奇性検出をどのように改善するか？
• RQ3 提案された新奇性検出フレームワークは、一般化ゼロショット学習にスムーズに統合可能であり、全体の行動認識性能を向上させることができるか？
• RQ4 UCF-101やHMDB-51といった標準ベンチマークにおいて、提案手法は既存のベースラインと比較して新奇性検出AUCで優れているか？
• RQ5 信頼度に基づいて分類器を選択する「知的民主主義」投票メカニズムは、無知な投票や独裁的投票に比べ、より優れた一般化性能と耐性を示すか？

主な発見

• 提案された知的民主主義モデルは、UCF-101で92.94%のPR AUC、HMDB-51で75.33%のROC AUCを達成し、すべてのベースラインを上回る。
• UCF-101では97.52%のPR AUCを達成し、次に優れた手法（無知な民主主義）の97.15%を顕著に上回る。
• 一般化ゼロショット学習（GZSL）設定では、UCF-101（U+S→U+S）で23.42%の精度にまで向上し、標準的なConSeモデル（21.03%）および従来のNN信頼度（20.91%）を上回る。
• HMDB-51のU→U+S設定において、従来のNN信頼度をベースラインとして用いた場合、ゼロショット精度が5%以上向上（10.96%から13.67%へ）。
• 知的民主主義アプローチは、独裁的および無知な民主主義の変種を常に上回り、信頼度に基づく選択による分類器選択の利点を示している。
• このフレームワークにより、既知の行動と新奇行動の効果的なフィルタリングが可能となり、市販のZSLモデルとのスムーズな統合が可能となり、オープンセット状況下での性能が顕著に向上する。