[論文レビュー] An Unbiased Risk Estimator for Learning with Augmented Classes

Yujie Zhang, Peng Zhao+1 more|arXiv (Cornell University)|Oct 21, 2019

Machine Learning and Algorithms参考文献 47被引用数 9

ひとこと要約

本稿では、クラスシフト条件下でテスト分布上の不偏リスク推定器を構築するためにラベルなし学習データを活用する、新たな学習と拡張クラス（LAC）のアプローチ、Eulacを提案する。Eulacは、既知のクラスと拡張クラスの分布の混合としてテスト分布をモデル化することで、理論的裏付けのある一般化性能と一貫性、一般化誤差の上限を実現し、事前分布の変化を伴う複雑で動的な環境において、幾何的およびヒューリスティック手法を上回る性能を発揮する。

ABSTRACT

This paper studies the problem of learning with augmented classes (LAC), where augmented classes unobserved in the training data might emerge in the testing phase. Previous studies generally attempt to discover augmented classes by exploiting geometric properties, achieving inspiring empirical performance yet lacking theoretical understandings particularly on the generalization ability. In this paper we show that, by using unlabeled training data to approximate the potential distribution of augmented classes, an unbiased risk estimator of the testing distribution can be established for the LAC problem under mild assumptions, which paves a way to develop a sound approach with theoretical guarantees. Moreover, the proposed approach can adapt to complex changing environments where augmented classes may appear and the prior of known classes may change simultaneously. Extensive experiments confirm the effectiveness of our proposed approach.

研究の動機と目的

• 学習と拡張クラス（LAC）における一般化能力に関する理論的理解の不足に取り組むこと。
• ラベルなしデータを活用して、既知のクラスと拡張クラスの関係をモデル化し、未知のクラスの分布を推定すること。
• 緩い仮定の下で、漸近的一貫性と非漸近的一般化誤差の上限という理論的保証を備えた手法を開発すること。
• 拡張クラスと既知クラスのクラス事前分布が同時に変化するような複雑な環境への適応を可能にすること。
• 既存の幾何的ベースのLAC手法の主な制限である、ハイパーパramータ選択に標準的な交差検証を適用可能にすること。

提案手法

• クラスシフト条件を導入し、テスト分布を既知クラスと拡張クラスの分布の混合としてモデル化することで、訓練データからのリスク推定を可能にする。
• ラベルなしデータを用いて拡張クラスの分布を推定し、分布モデリングによって既知クラスの分布から分離する。
• ラベルありおよびラベルなしデータを用いて、テスト分布上の推定リスクを最小化することで、LAC問題の不偏経験的リスク推定器を構築する。
• クラスシフト仮定の下で不偏リスク推定器を最小化するEulac（Exploiting Unlabeled data for Learning with Augmented Classes）フレームワークを構築する。
• 再重み付け技術を組み込むことで、既知クラスの事前分布の変化に対応し、Eulac-shiftを提案することで、より高い耐性を実現する。
• 二乗損失を用いたカーネルベースの仮説集合を採用し、Adamと混合割合のグリッドサーチを含む標準的なディープラーニングパイプラインで最適化する。

実験結果

リサーチクエスチョン

• RQ1 緩い仮定の下で、ラベルなし学習データのみを用いて、LAC問題におけるテスト分布の不偏リスク推定器を構築できるか？
• RQ2 提案手法は、拡張クラスが存在する状況でも、一貫性および一般化誤差の上限という理論的保証を達成できるか？
• RQ3 拡張クラスと既知クラスのクラス事前分布が同時に変化する環境にも適応可能か？
• RQ4 ラベルなしデータの使用は一般化誤差にどのように影響し、ニューラルネットワーク学習における収束性と性能向上に寄与するか？
• RQ5 既存の多数の幾何的ベースのアプローチとは異なり、LACにおけるハイパーパramータ選択に標準的な交差検証を意味的に適用可能か？

主な発見

• Eulacは漸近的一貫性と非漸近的一般化誤差の上限の両方を達成し、ラベルなしサンプル数が増加するにつれて誤差が減少する。
• 既存の幾何的ベースのLAC手法とは異なり、ハイパーパramータチューニングに有効な交差検証を可能にする。
• SVHNでは、混合割合が0.9のときAUCが最高（90.2 ± 2.8）に達し、トレーニング損失が45.4 ± 1.2に低下し、高い混合割合が収束性の向上に寄与することが示された。
• CIFAR-10では、Eulacは混合割合0.9でAUC 98.6 ± 0.6を達成し、拡張クラスの検出においてベースライン手法を上回った。
• 事前分布の変化に対応するEulac-shiftは、Eulac-baseやOVR-shiftを著しく上回り、変化の激しい環境でも高い耐性を示した。
• 一般化誤差の上限解析により、ラベルなしデータが一般化性能を向上させることを確認し、提案手法のリスク推定器の理論的優位性を裏付けた。