[論文レビュー] Learning to Accept New Classes without Training.

Hu Xu, Bing Liu+2 more|arXiv (Cornell University)|Sep 17, 2018

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文は、再訓練を必要とせず、新しいクラスを受け入れるとともに未学習のクラスを除外できる、オープンワールド学習向けのメタラーニングフレームワークを提案する。この手法は、学習済みクラスで訓練されたメタ・クラスファイアにより、インフェレンス中に新規クラスのオンザフライでラベル付けされた例を統合することで動的に適応する。これにより、コアモデルの更新なしに、堅牢な分類と除外が可能になる。

ABSTRACT

Classic supervised learning makes the closed-world assumption, meaning that classes seen in testing must have been seen in training. However, in the dynamic world, new or unseen class examples may appear constantly. A model working in such an environment must be able to reject unseen classes (not seen or used in training). If enough data is collected for the unseen classes, the system should incrementally learn to accept/classify them. This learning paradigm is called open-world learning (OWL). Existing OWL methods all need some form of re-training to accept or include the new classes in the overall model. In this paper, we propose a meta-learning approach to the problem. Its key novelty is that it only needs to train a meta-classifier, which can then continually accept new classes when they have enough labeled data for the meta-classifier to use, and also detect/reject future unseen classes. No re-training of the meta-classifier or a new overall classifier covering all old and new classes is needed. In testing, the method only uses the examples of the seen classes (including the newly added classes) on-the-fly for classification and rejection. Experimental results demonstrate the effectiveness of the new approach.

研究の動機と目的

• 古典的な教師あり学習の制限、すなわちすべてのクラスが学習時に既知であると仮定するという点を是正すること。
• 実世界の動的環境において、インフェレンス中に未学習のクラスを検出し、除外できるようにすること。これは、現実の状況において重要な挑戦である。
• 全モデルの再訓練やベース分類器の更新なしに、新しいクラスのインクリメンタル学習を可能にすること。
• 十分なラベル付きデータが入手された段階で、新しいクラスを受け入れられるシステムを構築すること。高精度と耐障害性を維持することが目的である。

提案手法

• 初期の学習済みクラスで訓練されたメタ・クラスファイアにより、分類と除外のための一般化された意思決定境界を学習する。
• インフェレンス中に、新しく導入されたクラスのオンザフライでラベル付けされた例を分類プロセスに動的に統合する。
• 新しいクラスが追加されても、メタ・クラスファイアの再訓練は必要としない。代わりに、リアルタイムで新しい例を用いて適応する。
• 不確実性または異常スコアに基づいて、未学習の将来的なクラスを特定・除外するための除外メカニズムを用いる。
• 分類と除外は、過去のデータを保存せず、再訓練なしに現在の学習済みクラス（新規追加を含む）のセットのみを用いて実行する。
• インクリメンタル学習中に安定性を保ちつつ、クラス分布全体に一般化できるように、メタラーニングの原則を活用する。

実験結果

リサーチクエスチョン

• RQ1 ベース分類器の再訓練やパラメータの更新なしに、モデルが新しいクラスを受け入れられるか。
• RQ2 インフェレンス中に未学習のクラスを効果的に検出し、除外できるか。
• RQ3 オンザフライでラベル付けされた例のみを用いて、インクリメンタルに新しいクラスを統合する際、メタ・クラスファイアが高精度と耐障害性を維持できるか。
• RQ4 継続的なクラス発見が行われるオープンワールドのシナリオにおいて、提案手法の性能はいかに高いか。

主な発見

• 提案手法は、メタ・クラスファイアや全体のモデルの再訓練なしに、新しいクラスを正常に受け入れることができた。
• 新しいクラスが動的に導入されても、未学習クラスの検出と除外において、モデルは強力な性能を維持した。
• インフェレンス中に新規クラスのオンザフライでラベル付けされた例を活用することで、効果的なインクリメンタル学習が実現された。
• 実験結果から、再訓練を必要とする従来の手法よりも、本手法がオープンワールド学習の設定で優れた有効性を示した。