[論文レビュー] Domain Adaptation: Learning Bounds and Algorithms

Yishay Mansour, Mehryar Mohri+1 more|arXiv (Cornell University)|Feb 19, 2009

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 461

ひとこと要約

本稿では、任意の損失関数を想定したドメイン適応に特化した新しい不一致距離を導入し、よりタイトな一般化境界を可能にするとともに、経験的不一致を最小化する新たなアルゴリズムの動機づけを提供する。Rademacher複雑度を用いた理論的保証を提示し、線形計画法（LP）を用いた0-1損失、半正定値計画法（SDP）を用いた二乗損失の効率的アルゴリズムを開発し、予備の実験で優れた性能を示している。

ABSTRACT

This paper addresses the general problem of domain adaptation which arises in a variety of applications where the distribution of the labeled sample available somewhat differs from that of the test data. Building on previous work by Ben-David et al. (2007), we introduce a novel distance between distributions, discrepancy distance, that is tailored to adaptation problems with arbitrary loss functions. We give Rademacher complexity bounds for estimating the discrepancy distance from finite samples for different loss functions. Using this distance, we derive novel generalization bounds for domain adaptation for a wide family of loss functions. We also present a series of novel adaptation bounds for large classes of regularization-based algorithms, including support vector machines and kernel ridge regression based on the empirical discrepancy. This motivates our analysis of the problem of minimizing the empirical discrepancy for various loss functions for which we also give novel algorithms. We report the results of preliminary experiments that demonstrate the benefits of our discrepancy minimization algorithms for domain adaptation.

研究の動機と目的

• トレーニングデータとテストデータが異なるが関連する分布に従うドメイン適応問題を扱う。
• 0-1分類を超える任意の損失関数に一般化可能な一般目的の距離尺度—不一致距離—を構築する。
• ドメイン適応における多様な損失関数に対して、データに依存する一般化境界をRademacher複雑度を用いて導出する。
• 経験的不一致を最小化するアルゴリズムを設計・分析し、ソースデータの再重み付けによって適応を向上させる。
• 0-1損失および二乗損失の設定において、不一致最小化を効率的に行う最適化手法—線形計画法（LP）および半正定値計画法（SDP）—を提供する。

提案手法

• 任意の損失関数に一般化可能な不一致距離を提案し、適応に関連する分布差を捉える。
• 経験的不一致に基づくRademacher複雑度を用いた学習境界を導出する。
• ソースデータとターゲットデータで訓練された仮説の点ごとの損失差が、経験的不一致によって上限付けられることを確立する。
• ドメイン適応を同一サポート上でのソースおよびターゲットの経験的分布間の不一致最小化問題に再定式化する。
• 0-1損失の場合、不一致最小化を線形計画問題（LP）として定式化し、1次元で組合せ的アルゴリズムを用いて効率的に解ける。
• 二乗損失の場合、問題が半正定値計画問題（SDP）に還元され、凸最適化により多項式時間で解けることを示す。

実験結果

リサーチクエスチョン

• RQ1 0-1分類を超える任意の損失関数に適用可能な、一般目的の不一致距離を定義できるか？
• RQ2 Rademacher複雑度を用いて、任意の損失関数を想定したドメイン適応のためのよりタイトな、データに依存する一般化境界を導出できるか？
• RQ3 経験的不一致をソースとターゲットの分布間で最小化することで、実際の一般化性能がどの程度向上するか？
• RQ4 凸最適化技術を用いて、0-1損失および二乗損失の設定における不一致最小化問題を効率的に解けるか？
• RQ5 不一致距離と、ソースおよびターゲットデータで訓練されたモデルの性能差との間には、理論的関係があるか？

主な発見

• 不一致距離はd_A距離を一般化し、0-1分類の状況ではそれと一致するが、回帰やその他の損失関数にも適用可能である。
• Rademacher複雑度を用いてドメイン適応の一般化境界を導出し、経験的不一致に依存するよりタイトなデータ依存境界を得た。
• ソースとターゲットデータで訓練された仮説の点ごとの損失差が、経験的不一致距離によって上限付けられることを示した。
• 0-1損失の場合、不一致最小化問題は線形計画問題として定式化され、1次元では組合せ的アルゴリズムで解ける。
• 二乗損失の場合、問題は半正定値計画問題（SDP）に再定式化され、多項式時間で解ける。
• 予備の実験により、不一致最小化が適応性能を向上させることを確認し、理論的枠組みの有効性を裏付けた。