[論文レビュー] Semi-Supervised Learning of Class Balance under Class-Prior Change by Distribution Matching

Marthinus Du Plessis, Masashi Sugiyama|arXiv (Cornell University)|Jun 18, 2012

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 27

ひとこと要約

本稿では、分布マッチングを用いて訓練データとテストデータの入力分布を一致させることで、クラスプライオリティシフト下でのテストデータにおけるクラスプライオリティ推定のための半教師あり手法を提案する。このアプローチにより、ラベルなしテストデータを用いても分類におけるバイアス補正を正確に行うことができ、分布シフト下でのクラス比推定において最先端の性能を達成する。

ABSTRACT

In real-world classification problems, the class balance in the training dataset does not necessarily reflect that of the test dataset, which can cause significant estimation bias. If the class ratio of the test dataset is known, instance re-weighting or resampling allows systematical bias correction. However, learning the class ratio of the test dataset is challenging when no labeled data is available from the test domain. In this paper, we propose to estimate the class ratio in the test dataset by matching probability distributions of training and test input data. We demonstrate the utility of the proposed approach through experiments.

研究の動機と目的

• 実世界の分類において、訓練データとテストデータのクラス分布が異なるというクラスプライオリティシフトの課題に対処すること。
• ラベルなしテストデータが一般的な実用的状況下で、テストセットのクラス比を推定すること。
• ラベルなしテストデータを活用して、クラスプライオリティシフトによって生じる推定バイアスを是正する半教師あり手法を開発すること。
• 分布マッチング技術を用いてテスト分布における真のクラスバランスを学習することで、モデルの一般化性能を向上させること。

提案手法

• 本手法は、訓練データとテストデータの結合分布の乖離を最小化することで、入力分布の一致を図る分布マッチングを用いる。
• ラベルなしテストデータを用いてテストクラスプライオリティを推定する半教師あり学習のタスクとして問題を定式化する。
• 特徴分布の一致に最大平均差分（MMD）を用いたカーネルベースの手法を採用して分布乖離を測定する。
• 推定されたクラス比に基づいて訓練データに再重み付けを行うことで、モデル予測のバイアスを低減する。
• 分布マッチングとモデルの再訓練を交互に繰り返すことで、クラス比推定値を段階的に改善する。
• ラベル付き訓練データとラベルなしテストデータの両方を用いてエンドツーエンドで学習するが、テストラベルは必要としない。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしテストデータが与えられた状況で、テスト分布におけるクラスプライオリティを正確に推定できるか？
• RQ2 ラベルなしテストデータをどのように活用することで、教師あり学習におけるクラスプライオリティシフトを是正できるか？
• RQ3 ベースライン手法と比較して、分布マッチングはクラス比推定の精度をどの程度向上させるか？
• RQ4 提案手法は、クラスプライオリティシフト下の下流分類タスクにおいて、より良い一般化性能とバイアス低減をもたらすか？

主な発見

• 提案手法は、クラスプライオリティシフト下でベンチマークデータセットにおいて、ベースライン手法と比較して顕著に高いクラス比推定精度を達成する。
• ラベルなしテストデータのみを用いても、分布シフトを効果的に是正することで、下流分類器の予測バイアスを低減する。
• 実験的結果から、MMDを用いた分布マッチングが複数のデータセットおよびシフトシナリオにおいて安定的かつ一貫性のある性能を示すことが明らかになった。
• 未知のテスト分布シフト下において、既存の半教師あり手法を上回るクラスプライオリティ推定性能を示す。
• さまざまな度合いのクラスプライオリティシフトに対してもロバストであり、シフトが顕著であっても高い精度を維持する。
• ラベルなしテストデータの活用により、テストラベルにアクセスしないままもっても信頼性の高いバイアス是正が可能となり、実世界の展開に実用的である。