[論文レビュー] Multi-Task Curriculum Framework for Open-Set Semi-Supervised Learning

Qing Yu, Daiki Ikami+2 more|arXiv (Cornell University)|Jul 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 6

ひとこと要約

本論文は、分布外（OOD）検出器と分類モデルを交互最適化を用いて共同で学習するマルチタスクカリキュラムフレームワークを提案する。繰り返しOODスコアとネットワークパラメータを精緻化することで、ノイズの多い未ラベルデータをフィルタリングし、未ラベルデータにOODサンプルが含まれる状況でも高い性能を発揮する半教師あり学習を可能にする。本手法は、複数のベンチマークで最先端の性能を達成し、OOD検出のAUROCスコアが99.8%を超える。

ABSTRACT

Semi-supervised learning (SSL) has been proposed to leverage unlabeled data for training powerful models when only limited labeled data is available. While existing SSL methods assume that samples in the labeled and unlabeled data share the classes of their samples, we address a more complex novel scenario named open-set SSL, where out-of-distribution (OOD) samples are contained in unlabeled data. Instead of training an OOD detector and SSL separately, we propose a multi-task curriculum learning framework. First, to detect the OOD samples in unlabeled data, we estimate the probability of the sample belonging to OOD. We use a joint optimization framework, which updates the network parameters and the OOD score alternately. Simultaneously, to achieve high performance on the classification of in-distribution (ID) data, we select ID samples in unlabeled data having small OOD scores, and use these data with labeled data for training the deep neural networks to classify ID samples in a semi-supervised manner. We conduct several experiments, and our method achieves state-of-the-art results by successfully eliminating the effect of OOD samples.

研究の動機と目的

• ラベル付きデータに存在しない分布外（OOD）サンプルを含む未ラベルデータを扱う現実的だが未だ十分に検討されていない開集合半教師あり学習の状況に対処すること。
• 未ラベルデータにOODサンプルが含まれる場合に性能が低下する既存のSSL手法の限界を克服すること。
• カリキュラム学習を用いて、OODサンプルを同時に検出し、分布内（ID）サンプルに対して頑健な分類器を学習する統合学習フレームワークを開発すること。
• ラベル付きデータが限られる低ショット設定において、未ラベルデータを活用して検出器の訓練を行うことで、OOD検出性能を向上させること。

提案手法

• 本手法は、深層ニューラルネットワークのパラメータと各サンプルのOODスコアを交互に更新する統合最適化フレームワークを用いる。初期段階ではラベル付きデータを分布内（ID）とし、すべての未ラベルデータをOODとみなす。
• ラベル付きサンプルには初期OODスコアを0、未ラベルサンプルには1を割り当て、ノイズの多い割り当てを是正するための反復的最適化によってスコアを精緻化する。
• カリキュラム学習戦略として、OODスコアが低い（つまりIDである可能性が高い）未ラベルサンプルのみを半教師あり学習に使用する。
• OOD検出と半教師あり分類をマルチタスク学習問題として統合し、共有表現学習を可能にする。
• 分類器の訓練には、フィルタリングされた未ラベルIDデータとラベル付きデータを用いて、ベースラインのSSL手法であるMixMatchを採用する。
• Otsuのしきい値法を用いて、学習されたOODスコアに基づきIDとOODサンプルを分離するためのカットオフを自動的に決定する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況において、統合最適化フレームワークが未ラベルデータ内のOODサンプルを効果的に検出できるか。
• RQ2 ネットワークパララメータとOODスコアの間で交互最適化を行うことで、低ショット設定における検出精度がどのように向上するか。
• RQ3 OODスコアに基づくカリキュラム学習が、OODサンプルが存在する状況での半教師あり分類性能をどの程度向上できるか。
• RQ4 本手法は、既存のOOD検出およびSSL手法と比較して、開集合シナリオにおいてどのように優れているか。
• RQ5 未ラベルデータに類似したが同一ではないOODサンプル（例：CIFAR-10における動物クラス）が含まれる状況でも、本フレームワークは高い性能を維持できるか。

主な発見

• 提案手法は、開集合半教師あり学習ベンチマークで最先端の性能を達成し、既存手法を大きく上回る。
• CIFAR-10およびSVHNデータセットでは、OOD検出におけるAUROCスコアが98.86%～100.00%に達し、Hendrycks & Gimpel（50.92%）やODIN（54.54%）といったベースライン手法を著しく上回る。
• 250個のラベル付きサンプルを用いた設定では、テスト精度をベースラインの82.42%から86.44%まで向上させ、OOD検出の精度は98.48%、再現率は99.22%を維持した。
• OODサンプルがIDクラスに類似している場合（例：CIFAR-10における動物クラス）でも、本手法はベースラインより2%の性能優位を確保し、OOD検出の精度94%、再現率98%を達成した。
• 本手法は、同時に発表された手法（UASD）を上回り、SSL精度（86.44% vs. 83.53%）およびOOD検出精度（99.22% vs. 96.84%）の両面で優れた性能を示した。
• Otsuのしきい値法を用いたOODスコアのヒストグラムから、IDとOODサンプルの有効な分離が確認され、効果的なサンプルフィルタリングが実現していることが裏付けられた。