[論文レビュー] Transfer Learning for Nonparametric Classification: Minimax Rate and Adaptive Classifier

Tommaso Cai, Hongji Wei|arXiv (Cornell University)|Jun 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 15

ひとこと要約

本稿は、共変量分布が同一だがクラス条件付き確率が異なる後方分布モデルにおける非パラメトリック分類の転移学習の最小最大収束速度を確立する。2サンプル加重K-NN分類器を提案し、最適な収束速度を達成する。また、滑らかさおよびマージンパラメータの広いクラスにおいて、対数要因の範囲内で最適な速度を達成する適応型バージョンも提示する。

ABSTRACT

Human learners have the natural ability to use knowledge gained in one setting for learning in a different but related setting. This ability to transfer knowledge from one task to another is essential for effective learning. In this paper, we study transfer learning in the context of nonparametric classification based on observations from different distributions under the posterior drift model, which is a general framework and arises in many practical problems. We first establish the minimax rate of convergence and construct a rate-optimal two-sample weighted $K$-NN classifier. The results characterize precisely the contribution of the observations from the source distribution to the classification task under the target distribution. A data-driven adaptive classifier is then proposed and is shown to simultaneously attain within a logarithmic factor of the optimal rate over a large collection of parameter spaces. Simulation studies and real data applications are carried out where the numerical results further illustrate the theoretical analysis. Extensions to the case of multiple source distributions are also considered.

研究の動機と目的

• 後方分布モデル下での非パラメトリック2値分類における転移学習の最小最大収束速度を確立すること。
• ソース分布からのラベル付きデータを活用して、類似したが同一でないターゲット分布における分類を改善する、レート最適な2サンプル加重K-NN分類器を開発すること。
• 滑らかさおよびマージンパラメータの広い範囲において、最適な速度を対数要因の範囲で達成する適応型分類器を提案すること。
• 分布シフトを伴う非パラメトリック設定における転移学習の利点に対する理論的裏付けを提供すること。
• 複数のソース分布へのフレームワークの拡張を図り、シミュレーションおよび実データを用いて検証すること。

提案手法

• 共変量の周辺分布が同一だが、ソースとターゲット間でクラス条件付き分布が異なると仮定する後方分布モデルを用いる。
• 局所的密度および滑らかさパラメータに基づき、データに依存する重みをソースおよびターゲットサンプルに割り当てることで、2サンプル加重K-NN分類器を構築する。
• マージン仮定および決定境界付近での条件付き確率の減衰率に依存する、局所的誤分類バウンドを濃度不等式を用いて適用する。
• 入力空間をマージン関数 ζ_Q(x) に基づいて分割し、異なる領域における期待超過リスクを制御する。
• マージンレベルに基づくdyadic領域の和集合を用いて、指数的尾部不等式を適用し、超過リスクの高確率バウンドを導出する。
• チューニングパラメータをデータ駆動的手法で選択する適応型分類器を提案し、広いパrameter空間クラスにおけるほぼ最適性を達成する。

実験結果

リサーチクエスチョン

• RQ1 後方分布モデル下で、ソース分布からターゲット分布への知識転送を行う非パラメトリック分類における最小最大収束速度は何か？
• RQ2 このモデル下で、ソースおよびターゲットデータを最適に活用する加重K-NN分類器はどのように設計できるか？
• RQ3 滑らかさおよびマージンパラメータの広い範囲において、最適な速度を対数要因の範囲で達成する適応型分類器を構築できるか？
• RQ4 ソースデータの貢献度は、サンプルサイズおよび潜在的回帰関数の滑らかさに応じてどのように変化するか？
• RQ5 複数のソース分布が利用可能な場合、転移学習の理論的保証はどのようなものか？

主な発見

• 滑らかさβ、マージンα、次元dに対して、後方分布モデル下での転移学習の最小最大収束速度は (n_P^{(2β+d)/(2γβ+d)} + n_Q)^{-β(1+α)/(2β+d)} として確立された。
• この最小最大速度を達成する2サンプル加重K-NN分類器が構築され、分布が類似している場合にソースデータがターゲット分類を顕著に改善できることを示した。
• 適応型分類器は、広いパラメータ空間クラスにおいて、最適速度を対数要因の範囲で達成し、滑らかさやマージンパラメータの事前知識なしに適応性を実現した。
• 理論的分析から、ソースサンプルサイズが大きく、かつソースとターゲットの分布が滑らかさおよびマージン行動の面で近い場合に、転移学習の利点が最大になることが示された。
• シミュレーションおよび実データの応用により、提案された分類器が標準K-NNおよび他の転移学習ベースラインを上回ることを確認した。特に、ソースとターゲットが類似しているが同一ではない場合に顕著な性能向上が得られた。
• 複数のソース分布への拡張が可能であり、ソースとターゲット分布の類似性にやや厳しい条件を課すだけで、理論的最適性を維持することが示された。