[論文レビュー] Open-world machine learning: A review and new outlooks

Fei Zhu, Shijie Ma+5 more|arXiv (Cornell University)|Mar 4, 2024

Artificial Intelligence in Healthcare被引用数 11

ひとこと要約

未知拒否、新規クラス発見、クラス増分学習を網羅するオープンワールド機械学習（OWL）の包括的調査で、課題・原則・将来の方向性について議論する。

ABSTRACT

Machine learning has achieved remarkable success in many applications. However, existing studies are largely based on the closed-world assumption, which assumes that the environment is stationary, and the model is fixed once deployed. In many real-world applications, this fundamental and rather naive assumption may not hold because an open environment is complex, dynamic, and full of unknowns. In such cases, rejecting unknowns, discovering novelties, and then continually learning them, could enable models to be safe and evolve continually as biological systems do. This article presents a holistic view of open-world machine learning by investigating unknown rejection, novelty discovery, and continual learning in a unified paradigm. The challenges, principles, and limitations of current methodologies are discussed in detail. Furthermore, widely used benchmarks, metrics, and performances are summarized. Finally, we discuss several potential directions for further progress in the field. By providing a comprehensive introduction to the emerging open-world machine learning paradigm, this article aims to help researchers build more powerful AI systems in their respective fields, and to promote the development of artificial general intelligence.

研究の動機と目的

• オープンワールド機械学習のパラダイムとその3つの核心要素である未知拒否、新規クラス発見、およびクラス増分学習を紹介する。
• OWLにおける未知拒否、NCD、およびCILの下での手法を調査し、アプローチを分類する。
• 今後の研究と応用を導く課題、制限、および実践的考慮事項を明らかにする。

提案手法

• OOD検出とOSRを含む未知拒否の最近の進展を統合・分類し、スコアベース、トレーニングベース、およびアウトライア支援アプローチについて論じる。
• 一段階および多段階の深層転移クラスタリング手法を含む新規クラス発見技術をレビューし、古いクラスから新しいクラスへの知識移転について論じる。
• オープンワールド設定におけるクラス増分学習を要約し、発見と増分更新を崩壊的忘却を避けて統合する戦略を論じる。

実験結果

リサーチクエスチョン

• RQ1 オープンワールド機械学習の主なタスクとライフサイクルの各ステップは何か（未知拒否、新規クラス発見、クラス増分学習）？
• RQ2 現在の手法は未知拒否（OOD検出、OSR）にどのように対処しており、その長所と限界は何か？
• RQ3 ラベル付きの古いクラスとラベルなしの未知がある状況で、新規クラス発見を効果的に実行するにはどうすればよいか？
• RQ4 オープン環境でクラス増分学習へ拡張する際に生じる課題は何か、そして忘れずに知識を蓄積するにはどうすればよいか？

主な発見

• OWLは未知拒否、新規クラス発見、および継続的学習を統合し、動的な環境に適応する。
• OOD検出とOSRは未知拒否の中核であり、複数の学習時・推論戦略（事後、トレーニング時、アウトライアベースの手法）を含む。
• 新規クラス発見は、ラベル付きの古いクラスからラベルなしの新規クラスへ知識を移転することに依存し、マルチステージとワンステージの両方のアプローチを用いる。
• 一般化カテゴリ発見は、古いクラスと新規クラスの両方を含むラベルなしデータを扱うことでNCDを拡張し、しばしばコントラスト学習とノンパラメトリック分類器を活用する。
• 課題にはオープンスペースリスク、古いクラスと新規クラス間の意味的類似性、増分更新中の崩壊的忘却の回避が含まれる。
• 評価はOOD検出のAUROCなどの指標と、オープンセット認識性能に依存し、信頼できる信頼度推定と頑健な表現を重視する。