[論文レビュー] Open-World Learning Without Labels

Mohsen Jafarzadeh, Akshay Raj Dhamija+4 more|arXiv (Cornell University)|Nov 25, 2020

Anomaly Detection Techniques and Applications参考文献 41被引用数 6

ひとこと要約

本論文は、ラベルなしの連続的データストリームから新しい画像クラスを発見・学習可能であり、かつ過去の知識を忘れない自律的エージェントを可能にする非教師ありオープンワールド学習フレームワークを提案する。非教師あり特徴表現を活用し、新規の評価指標を導入することで、人間によるラベリングが不可能なリアルタイムで非定常な環境においても、強固でスケーラブルな学習を実現する。

ABSTRACT

Open-world learning is a problem where an autonomous agent detects things that it does not know and learns them over time from a non-stationary and never-ending stream of data; in an open-world environment, the training data and objective criteria are never available at once. The agent should grasp new knowledge from learning without forgetting acquired prior knowledge. Researchers proposed a few open-world learning agents for image classification tasks that operate in complex scenarios. However, all prior work on open-world learning has all labeled data to learn the new classes from the stream of images. In scenarios where autonomous agents should respond in near real-time or work in areas with limited communication infrastructure, human labeling of data is not possible. Therefore, supervised open-world learning agents are not scalable solutions for such applications. Herein, we propose a new framework that enables agents to learn new classes from a stream of unlabeled data in an unsupervised manner. Also, we study the robustness and learning speed of such agents with supervised and unsupervised feature representation. We also introduce a new metric for open-world learning without labels. We anticipate our theories and method to be a starting point for developing autonomous true open-world never-ending learning agents.

研究の動機と目的

• リアルタイムかつ通信量が限られた環境における教師ありオープンワールド学習のスケーラビリティの制限を解消すること。
• 事前知識や人間によるラベル付きデータが存在しない状況でも、ラベルなしデータストリームから自律的エージェントが新しいクラスを学習できること。
• 以前に習得した知識の破壊的忘却を防ぐ強固で効率的な学習メカニズムの開発。
• ラベルなしのオープンワールド学習に特化した新しい評価指標の導入。
• オープンワールド環境下における非教師ありと教師あり特徴表現の学習効率と耐性の比較。

提案手法

• フレームワークは、予測不能に新しいクラスが出現する、終わりのない非定常なデータストリームで動作する。
• 分類ラベルを必要とせず、ラベルなし画像データから特徴表現を抽出する非教師あり特徴学習を採用する。
• 真のラベルが存在しない状況でのオープンワールド学習のパフォーマンスを評価するための新規指標を導入する。
• クラスタリングや埋め込みベースの発見メカニズムを用いて、エージェントが継続的に新しいクラスを検出・統合する。
• 破壊的忘却を防ぐために正則化またはリプレイメカニズムを用いて知識の安定性を維持する。
• 学習効率と耐性の比較のため、非教師ありおよび教師あり特徴表現を用いてアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムでストリーミングが行われる環境において、ラベルなしデータに依存せずにオープンワールド学習を効果的に達成できるか？
• RQ2 ラベルが限られる状況下で、非教師あり特徴表現は教師あり表現に比べて学習速度と耐性においてどのように異なるか？
• RQ3 オープンワールド学習における破壊的忘却の影響は何か？また、ラベルなし状況でこれを緩和する方法は何か？
• RQ4 真のラベルが入手不可である状況で、オープンワールド学習に適した信頼性のある評価指標をどのように設計できるか？
• RQ5 提案されたフレームワークは、人間の干渉が限られる複雑な現実世界の応用にスケーラブルに拡張可能か？

主な発見

• 提案された非教師ありオープンワールド学習フレームワークは、事前知識なしにラベルなしデータストリームから新しい画像クラスを効果的に発見・学習可能である。
• 非定常環境でも安定したパフォーマンスを示し、破壊的忘却を防止する。
• ラベルが限られる状況下で、非教師あり特徴表現は教師あり表現に比べてより迅速な学習と適応を実現する。
• 導入された評価指標により、真のラベルなしでもオープンワールド学習のパフォーマンスを信頼性高く評価できる。
• 人間によるラベリングが不切実または不可能な状況下でも、スケーラブルでリアルタイムの学習が可能になる。
• 本研究の結果は、複雑で動的な環境において真のオープンワールド、終わりなき学習エージェントを構築する基盤を確立する。