[論文レビュー] Revisiting Sample Selection Approach to Positive-Unlabeled Learning: Turning Unlabeled Data into Positive rather than Negative

Miao Xu, Bingcong Li+3 more|arXiv (Cornell University)|Jan 29, 2019

Machine Learning and Data Classification参考文献 38被引用数 4

ひとこと要約

本稿では、深層ネットワークの記憶特性を活用してトレーニング中に高損失の未ラベルデータを仮陽性データとして選別する、新しい正例-未ラベル（PU）学習手法aaPUを提案する。これらの偏った仮陽性データに対して新しい学習目的関数を用いて再重み付けすることで、CIFAR-10、CIFAR-100、20Newsgroupsで最先端の重要度再重み付け手法nnPUを上回る性能を発揮し、深層学習の文脈において、サンプル選別が重要度再重み付けを凌駕できることを示している。

ABSTRACT

In the early history of positive-unlabeled (PU) learning, the sample selection approach, which heuristically selects negative (N) data from U data, was explored extensively. However, this approach was later dominated by the importance reweighting approach, which carefully treats all U data as N data. May there be a new sample selection method that can outperform the latest importance reweighting method in the deep learning age? This paper is devoted to answering this question affirmatively---we propose to label large-loss U data as P, based on the memorization properties of deep networks. Since P data selected in such a way are biased, we develop a novel learning objective that can handle such biased P data properly. Experiments confirm the superiority of the proposed method.

研究の動機と目的

• 現代のサンプル選別アプローチが、深層PU学習において重要度再重み付けを上回れるかどうかを調査すること。
• 深層ネットワークを用いて未ラベル集合から選別された偏った仮陽性データの課題に対処すること。
• 未ラベルデータから高損失のサンプルを陽性として選別することによって生じるバイアスを適切に扱う新しい学習目的関数を開発すること。
• 実世界および合成データセットにおいて、従来の重要度再重み付け手法（例：nnPU）に比べて本手法の優位性を実証すること。

提案手法

• 深層ネットワークの記憶特性を基に、交差エントロピー損失が最大となる未ラベルサンプル（正例ラベルとして-1を仮定）を仮陽性データとして選別する。
• 選別された仮陽性サンプルに生じるバイアスを考慮した新しい学習目的関数を導入し、経験的リスクの過小評価を回避する。
• 選別された仮陽性データは、検証損失が安定した後、以降のエポックにおいて恒久的に訓練データに追加される。
• 動的データ追加戦略を採用し、データセットおよびモデルスケールに応じて1エポックあたり150、160、または320件のサンプルを追加する。
• 標準的な深層学習アーキテクチャ（例：CIFARにはResNetに類似した構造、20NewsgroupsにはMLP）を用い、適応的学習率と重み減衰スケジュールを適用する。
• 本手法はエンドツーエンドで動作し、オンライン形式で実装されており、各エポック後に新しい仮陽性サンプルを訓練セットに更新する。

実験結果

リサーチクエスチョン

• RQ1 未ラベル集合から陽性データを選別するサンプル選別アプローチが、深層PU学習において現代的な重要度再重み付け手法を上回れるか？
• RQ2 深層ネットワークの挙動を用いて、高損失の未ラベルサンプルを信頼性高く仮陽性データとして特定する方法は何か？
• RQ3 未ラベルデータから選別された仮陽性サンプルに内在するバイアスを効果的に処理するための学習目的関数は何か？
• RQ4 どのトレーニング段階で、どの頻度で仮陽性サンプルを追加すれば性能が最大化されるか？

主な発見

• aaPUは、すべての3つのベンチマークデータセット（CIFAR-10、CIFAR-100、20Newsgroups）でnnPUを上回る優れた性能を達成した。
• CIFAR-100および20Newsgroupsでは、aaPUとnnPUの性能差が顕著であり、60～100エポックを過ぎてから改善が観察された。
• 10回の繰り返し実験において一貫した改善が得られ、平均精度と分散の報告値から、手法の頑健性が示された。
• 十分なエポック数を経過した後、のみ性能向上が現れるため、仮陽性データの追加前に安定したモデル表現が得られることが重要であることが示唆された。
• 1エポックあたり追加する仮陽性サンプルの最適数は[40, 80, 160, 320]の範囲にあり、特に大規模データセットでは160～320が最良の結果をもたらした。
• 複雑な深層ネットワークを用いても本手法は有効であり、従来のサンプル選別法が抱える過学習問題を克服できた。