[論文レビュー] A Review of Open-World Learning and Steps Toward Open-World Learning Without Labels

Mohsen Jafarzadeh, Akshay Raj Dhamija+4 more|arXiv (Cornell University)|Nov 25, 2020

Anomaly Detection Techniques and Applications被引用数 12

ひとこと要約

本論文は、ラベルなしで自己教師ありオープンワールド学習（OWL）を形式化し、ラベルなしのデータストリームから新規クラスを検出・特徴付けて管理し、段階的に学習する自律型エージェントを可能にするフレームワークを提案する。最新技術を改造した7つのベースラインを提案し、教師ありと自己教師ありの特徴を組み合わせることで、オープンワールド環境下で最高のパフォーマンスを達成できることを示している。

ABSTRACT

In open-world learning, an agent starts with a set of known classes, detects, and manages things that it does not know, and learns them over time from a non-stationary stream of data. Open-world learning is related to but also distinct from a multitude of other learning problems and this paper briefly analyzes the key differences between a wide range of problems including incremental learning, generalized novelty discovery, and generalized zero-shot learning. This paper formalizes various open-world learning problems including open-world learning without labels. These open-world problems can be addressed with modifications to known elements, we present a new framework that enables agents to combine various modules for novelty-detection, novelty-characterization, incremental learning, and instance management to learn new classes from a stream of unlabeled data in an unsupervised manner, survey how to adapt a few state-of-the-art techniques to fit the framework and use them to define seven baselines for performance on the open-world learning without labels problem. We then discuss open-world learning quality and analyze how that can improve instance management. We also discuss some of the general ambiguity issues that occur in open-world learning without labels.

研究の動機と目的

• リアルタイムの自律システムに適した、ラベルなしのオープンワールド学習を明確でスケーラブルな問題として形式化すること。
• オープンワールド学習と、オープンセット認識、インクリメンタルラーニング、ゼロショットラーニングなどの関連分野を区別すること。
• ニューティビティ検出、クラスタリング、インスタンス管理、段階的学習を統合する一般化されたフレームワークを設計すること。
• 自己教師ありオープンワールド学習に特化した新しい指標を用いて性能を評価・ベンチマークすること。
• 現在の評価指標の限界を特定し、今後のシステムにおいて人間によるラベル検証を推奨すること。

提案手法

• エージェントが特徴抽出、推論、ニューティビティ検出、バッファベースのインスタンス管理を通じてデータストリームを処理する機能的フレームワークを提案する。
• 未知インスタンスが保存されるバッファメカニズムを導入し、その確率が閾値τを超えた場合にのみ保存されるようにする。
• 自己教師ありクラスタリング（Finch）とSVMベースの指標による品質評価を組み合わせ、意味のある新規クラスをフィルタリングする。
• 6つの既存のインクリメンタルラーニングアルゴリズム（ONCM, ONNO, OGMM, OCBCL, OSCAIL, MEVM）を改造し、自己教師ありオープンワールド学習に対応する真のオープンワールドラーナー（TOWL）に拡張する。
• クラスタリングを開始するための250件の検出済み新規インスタンス、および1クラスタあたり20件のインスタンスを新規クラスに割り当てる閾値を設定し、学習速度と品質のバランスを取る。
• オープンワールドパフォーマンスを評価する新しい指標を適用し、その限界と人間によるラベル検証が必要であることを認識する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのオープンワールド学習は、オープンセット認識、インクリメンタルラーニング、一般化ゼロショットラーニングとは根本的にどのように異なるか？
• RQ2 ストリーミングデータにおいて、自己教師ありの新規クラス発見と段階的学習を可能にするスケーラブルで自律的なシステムを構築するために、どのような要素が必要か？
• RQ3 既存のインクリメンタルラーニングアルゴリズムは、ニューティビティ検出とクラスタリングをモジュール的に統合することで、自己教師ありオープンワールド学習に適応可能か？
• RQ4 提案された評価指標は、真のオープンワールド学習パフォーマンスを的確に捉えられるか。その限界は何か？
• RQ5 自己教師ありオープンワールド学習において、学習速度とクラスタ品質の間にはどのようなトレードオフがあり、どのように最適化できるか？

主な発見

• 提案されたフレームワークにより、意味的ラベルを必要とせず、ラベルなしのデータストリームから自律的に新規クラスを検出し、管理し、学習することが可能となった。
• 最も優れた性能を示したTOWL設定は、教師ありと自己教師ありの特徴を組み合わせたものであり、純粋に自己教師ありのアプローチを上回った。
• 250件の新規インスタンスを検出することでクラスタリングを開始する閾値が適切であった一方、1クラスタあたり20インスタンスは学習速度とクラスタ品質の間で実用的なバランスをとれた。
• 評価指標だけでは、ノイズの多いクラスタと高品質なクラスタを区別できず、例として「木の幹」と「木のてっぺん」が別々のクラスとして誤って処理された。
• 異なるデータ分割を用いた結果間に有意差は認められなかった（p ≥ 0.20）。これは、データ分割の変動に対して頑健であることを示している。
• 正確な評価には人間によるラベル検証が不可欠であり、提案指標は、真のラベル境界を信頼できる形で再現できないため、グランドトゥースの検証が不可欠である。