[論文レビュー] Continual egocentric object recognition

Luca Erculiani, Fausto Giunchiglia+1 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 5

ひとこと要約

本論文は、時間的・空間的恒常性、類似度ベースの認識、オンラインアクティブラーニングを活用することで、最小限のユーザーフィードバックでオープンワールドかつインスタンスレベルの認識を実現する、記憶に基づく段階的フレームワークFollowerを提案する。稀なフィードバックでも新規オブジェクトの認識と再識別が高精度で達成され、発達的学習と恒常性の有効性が示された。

ABSTRACT

We present a framework capable of tackilng the problem of continual object recognition in a setting which resembles that under whichhumans see and learn. This setting has a set of unique characteristics:it assumes an egocentric point-of-view bound to the needs of a singleperson, which implies a relatively low diversity of data and a coldstart with no data; it requires to operate in an open world, where newobjects can be encounteredat any time; supervision is scarce and hasto be solicited to the user, and completelyunsupervised recognitionof new objects should be possible. Note that this setting differs fromthe one addressed in the open world recognition literature, where supervised feedback is always requested to be able to incorporate newobjects. We propose a first solution to this problem in the form ofa memory-based incremental framework that is capable of storinginformation of each and any object it encounters, while using the supervision of the user to learn to discriminate between known and unknown objects. Our approach is based on four main features: the useof time and space persistence (i.e., the appearance of objects changesrelatively slowly), the use of similarity as the main driving principlefor object recognition and novelty detection, the progressive introduction of new objects in a developmental fashion and the selectiveelicitation of user feedback in an online active learning fashion. Experimental results show the feasibility of open world, generic objectrecognition, the ability to recognize, memorize and re-identify newobjects even in complete absence of user supervision, and the utilityof persistence and incrementality in boosting performance.

研究の動機と目的

• データが低多様性でストリーミング的かつ監視が限られるエゴセントリック環境における継続的でオープンワールドのオブジェクト認識の課題に対処すること。
• 事前知識やユーザーフィードバックなしに、新規オブジェクトのインスタンスレベル認識と再識別を可能にすること。
• アクティブラーニングと発達的学習戦略を用いることで、人間による監視への依存を低減すること。
• 人間の視覚的学習を模倣する形で、恒常性と段階的学習に重きを置いたオブジェクト認識のモデル化をすること。
• 災害的忘却を回避しながら、時間経過とともに新しいオブジェクトを記憶・認識できるシステムの開発

提案手法

• フレームワークは、時間的・空間的恒常性を用いて、フレーム間で安定した視覚的不変量を特定し、堅牢なオブジェクトトラッキングと認識を実現する。
• 既知のオブジェクトの分類と新規オブジェクトの検出の両方を、事前アノテーションなしで実現する類似度ベースのメトリクス学習アプローチを採用する。
• 発達的学習戦略により、恒常性と特徴の顕著さが高く、優先度の高いオブジェクトから段階的に導入する。
• ユーザーフィードバックは、不確実性が高くなった場合にのみオンラインアクティブラーニングにより選択的に要求され、監視負荷を最小限に抑える。
• システムは、すべての遭遇済みオブジェクトの記憶を維持し、特徴量と埋め込みを保存して、段階的な検索と再識別を可能にする。
• 訓練順序の影響を評価可能なアブレーションスタディを実施するため、ランダム対発達的という二重の訓練・評価ポリシーを導入する。

実験結果

リサーチクエスチョン

• RQ1 最小限のユーザーフィードバックで、エゴセントリック環境においてオープンワールドかつインスタンスレベルのオブジェクト認識を達成できるか？
• RQ2 恒常性と類似度の活用が、継続的学習のシナリオにおける認識性能をどのように向上させるか？
• RQ3 発達的学習戦略は、人間によるアノテーションデータの必要性をどの程度低減できるか？
• RQ4 訓練例の順序が、低監視レジームにおける認識およびクラスタリング性能にどのように影響するか？
• RQ5 初回出現時にフィードバックが全く提供されない状況でも、システムは新規オブジェクトを記憶・再識別できるか？

主な発見

• Followerは、発達的ポリシーで訓練・評価された場合、ランダム順序と比較してインスタンス認識精度（AIA）が最大で100％向上した。
• 36個の訓練例でのみ学習させた場合、発達的ポリシーでAIAが0.72を維持したが、ランダムポリシーでは0.69にとどまり、顕著な優位性を示した。
• 発達的訓練ポリシーを用いることで、データが減少してもクラスタリング性能が強く保たれ、調整済みランダムインデックス（ARI）と調整済み相互情報量（AMI）が0.5を超えた。
• 発達的訓練ポリシーでは、すべての監視レベルで高い認識精度を維持できる一方、ランダムポリシーではデータ減少に伴い性能が急激に低下した。
• ユーザーフィードバックが完全に欠落している状況でも、システムは新規オブジェクトを正常に同定・記憶でき、自律的ノベルティ検出の有効性を示した。
• 性能向上は特にインスタンスレベル認識で顕著であり、発達的戦略により、低監視環境下でAIAとクラスタリング指標が顕著に向上した。