[論文レビュー] Online Open World Recognition

Rocco De Rosa, Thomas Mensink+1 more|arXiv (Cornell University)|Apr 8, 2016

Advanced Bandit Algorithms Research参考文献 28被引用数 21

ひとこと要約

本稿では、動的環境における認識性能を向上させるために、メトリクスを段階的に学習し、新しい事象の検出閾値を適応的に調整し、局所的学習を採用するオンラインオープンワールド認識フレームワークを提案する。NCM、NNO、NBCの3つのメトリクス学習アルゴリズムにオンラインおよび段階的更新を拡張することで、大規模データセット上での固定メトリクスベースラインに比べ優れた性能を達成し、実世界の認識シナリオにおける継続的適応の重要性を示している。

ABSTRACT

As we enter into the big data age and an avalanche of images have become readily available, recognition systems face the need to move from close, lab settings where the number of classes and training data are fixed, to dynamic scenarios where the number of categories to be recognized grows continuously over time, as well as new data providing useful information to update the system. Recent attempts, like the open world recognition framework, tried to inject dynamics into the system by detecting new unknown classes and adding them incrementally, while at the same time continuously updating the models for the known classes. incrementally adding new classes and detecting instances from unknown classes, while at the same time continuously updating the models for the known classes. In this paper we argue that to properly capture the intrinsic dynamic of open world recognition, it is necessary to add to these aspects (a) the incremental learning of the underlying metric, (b) the incremental estimate of confidence thresholds for the unknown classes, and (c) the use of local learning to precisely describe the space of classes. We extend three existing metric learning algorithms towards these goals by using online metric learning. Experimentally we validate our approach on two large-scale datasets in different learning scenarios. For all these scenarios our proposed methods outperform their non-online counterparts. We conclude that local and online learning is important to capture the full dynamics of open world recognition.

研究の動機と目的

• クラス数とデータが時間とともに変化する実世界の視覚認識システムにおいて、静的で閉じたセット学習の限界を解消すること。
• 新しいデータやクラスが出現する中で適応できない固定メトリクスと閾値を用いる既存のオープンワールド認識手法の欠陥を克服すること。
• データ分布の変化を反映するために、段階的にメトリクス、信頼性の閾値、局所的表現を更新する完全なオンライン学習フレームワークを構築すること。
• 新しいクラスとデータストリームに継続的に適応可能にすることで、閉じたセットおよびオープンセット認識性能を向上させること。
• オープンワールド設定において、複雑なクラス境界をモデル化するための局所的で非パラメトリックな学習の有効性を示すこと。

提案手法

• データストリームを逐次処理するオンライン学習テンプレートを導入し、各予測後にモデルとメトリクスを更新する。
• 非パラメトリック分類器であるNearest Class Mean (NCM)、Nearest Non-Outlier (NNO)、Nearest Ball Classifier (NBC) の3つを、時間経過に伴うマハラノビス距離の適応的更新を可能にするオンラインメトリクス学習に拡張する。
• 既知クラスからのリアルタイムの信頼性スコアを用いて、新規クラスの追加に伴い動的に調整可能な、新奇性検出閾値の段階的推定を実装する。
• Nearest Ball Classifier (NBC) を用いた局所的学習を適用し、適応的かつ局所的に重み付けされたプロトタイプでクラス境界をモデル化することで、複雑で非線形的なクラス構造をより正確に捉える。
• 既知クラスと未知クラスの両方の性能をバランスさせるために、閉じたセットとオープンセットの正解率の調和平均（Fスコア）を主評価指標として使用する。
• オンライン確率的最適化を用いてモデルを学習・更新することで、計算オーヘッドを低減し、リアルタイムの適応性を確保する。

実験結果

リサーチクエスチョン

• RQ1 継続的に新しいクラスとデータが到着するオープンワールド設定において、オンラインメトリクス学習は認識性能を向上させ得るか？
• RQ2 リアルタイムの信頼性スコアに基づいて新奇性検出閾値を動的に更新することは、固定閾値に比べてより優れたオープンセット性能を達成するか？
• RQ3 複雑で変化し続けるクラス境界をモデル化する際、局所的で非パラメトリックな学習（例：ネアレストボール分類）は、線形手法（例：NNO）に比べてどのように優れているか？
• RQ4 メトリクスと閾値の段階的学習は、ストリーミング認識シナリオにおいて、閉じたセットおよびオープンセットの正解率をどの程度向上させるか？
• RQ5 提案されたオンライン拡張手法は、クラス構成が変化する多様で大規模なデータセットにおいて、どのように性能を発揮するか？

主な発見

• oNNOおよびoNBCという提案されたオンライン拡張手法は、ILVRC’10およびPlaces2の両データセットにおいて、固定メトリクスの対応する手法（NNOおよびNBC）に比べ、オンライン調和正解率の観点で顕著に優れた性能を示した。
• 局所的学習を用いるoNBCは、適応的かつ局所的に重み付けされたプロトタイプによりクラス境界をより正確にモデル化できるため、oNNOよりも優れた性能を達成した。
• 段階的閾値推定手法は、閉じたセットとオープンセットの信頼性スコアの間に明確な分離を維持するのに成功し、より信頼性の高い未知クラス検出を可能にした。
• oNNO分類器は、既知クラスと未知クラスの信頼性スコアがほとんど区別できず、固定閾値による検出が効果を発揮しないことが判明した。これは、動的閾値適応の必要性を強調している。
• 性能向上は、システムがより多くのクラスを学習し、メトリクスが継続的な更新によって安定化した後半のストリームセグメントで顕著に現れた。
• Places2データセットでは強力な特徴量が利用可能であるため、ILVRC’10に比べ全体の正解率が高くなったが、オンライン手法の相対的な性能向上は両データセットで一貫していた。