[論文レビュー] Minimax optimal approaches to the label shift problem

Subha Maity, Yuekai Sun+1 more|arXiv (Cornell University)|Mar 23, 2020

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 5

ひとこと要約

本稿は、ラベルシフト問題の2つの設定における収束の最小最大最適レートを確立している：1つはラベルなしのターゲットデータのみを用いる設定、もう1つは少数のラベル付きターゲット例を用いる設定である。ラベル付きターゲットデータの存在が、クラス条件付き分布のより良い推定を可能にすることで、問題の難易度を著しく低下させることを示しており、ラベルなしのみの設定において分布マッチングが最小最大レート最適であることを実証している。

ABSTRACT

We study minimax rates of convergence in the label shift problem. In addition to the usual setting in which the learner only has access to unlabeled examples from the target domain, we also consider the setting in which a small number of labeled examples from the target domain are available to the learner. Our study reveals a difference in the difficulty of the label shift problem in the two settings. We attribute this difference to the availability of data from the target domain to estimate the class conditional distributions in the latter setting. We also show that a distributional matching approach is minimax rate-optimal in the former setting.

研究の動機と目的

• ラベルシフト問題の収束の最小最大レートを、2つの異なるデータ可用性設定下で分析すること。
• ターゲットドメインからの少数のラベル付き例の可用性が、ラベルシフト問題の難易度に与える影響を調査すること。
• ラベルなしターゲットデータのみの設定において、分布マッチングが最小最大最適レートを達成するかどうかを特定すること。
• ラベル付きターゲット例の有無にかかわるラベルシフトの統計的複雑性を比較すること。

提案手法

• 本稿は、2つの設定（ラベルなしターゲットデータのみ、および少数のラベル付きターゲット例を含む）におけるラベルシフト問題の最小最大下界を導出している。
• 各設定におけるクラス条件付き分布の推定の統計的難易度を分析し、ラベル付きデータがより正確な推定を可能にすることを示している。
• 著者らは、ラベルなしのみの設定におけるソースドメインとターゲットドメインの分布を一致させる手法としての分布マッチングの性能を評価している。
• 彼らは、ラベルなしのみの設定において、分布マッチングが最小最大最適レートに達することを確立しており、これは統計的に効率的であることを意味する。
• 分析は、ラベルシフト下での学習の根本的限界を特徴付けるために、非漸近的最小最大理論に依拠している。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしターゲットデータのみが利用可能な状況におけるラベルシフト問題の最小最大収束レートは何か？
• RQ2 少数のラベル付きターゲット例の追加が、ラベルシフト問題の統計的難易度にどのように影響するか？
• RQ3 ラベルなしターゲットデータのみの設定において、分布マッチングは最小最大最適レートを達成するか？
• RQ4 2つの設定間の学習複雑性の根本的差異は何か？

主な発見

• ターゲットドメインからの少数のラベル付き例の可用性により、クラス条件付き分布の推定が改善されるため、ラベルシフト問題は著しく容易になる。
• ラベル付きターゲットデータの可用性により、最小最大収束レートが低下し、この設定における統計的複雑性が低減することが示された。
• ラベルなしのみの設定において、分布マッチングは最小最大最適レートに達しており、これは統計的に効率的な手法であることを示している。
• 最小最大下界は、ラベル付きデータからのクラス条件付き分布推定の可能性があるかどうかに起因する、2つの設定間の根本的な難易度の差を明らかにしている。