[論文レビュー] A Theory of Output-Side Unsupervised Domain Adaptation

Tomer Galanti, Lior Wolf|arXiv (Cornell University)|Mar 5, 2017

Domain Adaptation and Few-Shot Learning参考文献 6被引用数 5

ひとこと要約

本稿では、入力ではなく出力の側に注目する、出力側非教師ありドメイン変遷（ODA）という新しいフレームワークを提案する。不一致最小化を用いて一般化境界を導出し、CoGAN やドメイントランスファーネットワークスのような手法の理論的基盤を提供する。主な結果として、出力空間の整合性と GAN を用いた不一致制御によって、ドメイン変遷が向上することを示している。

ABSTRACT

When learning a mapping from an input space to an output space, the assumption that the sample distribution of the training data is the same as that of the test data is often violated. Unsupervised domain shift methods adapt the learned function in order to correct for this shift. Previous work has focused on utilizing unlabeled samples from the target distribution. We consider the complementary problem in which the unlabeled samples are given post mapping, i.e., we are given the outputs of the mapping of unknown samples from the shifted domain. Two other variants are also studied: the two sided version, in which unlabeled samples are give from both the input and the output spaces, and the Domain Transfer problem, which was recently formalized. In all cases, we derive generalization bounds that employ discrepancy terms.

研究の動機と目的

• 入力空間ではなく、ターゲット関数の出力として得られる非教師ありターゲットデータが利用可能であるという、非教師ありドメイン変遷におけるギャップを埋める。
• 学習者がターゲットドメインの非教師あり出力データを用いて変遷を行うという、新しいパラダイム「出力側ドメイン変遷（ODA）」を形式化する。
• 両側ドメイン変遷（両ドメインから不一致な入力および出力サンプルが得られる）の設定への拡張を図り、クロスドメイン生成を伴うドメイントランスファー問題に対しても適用する。
• 不一致に基づく一般化境界を用いて、CoGAN やドメイントランスファーネットワークスのような最近の手法の理論的裏付けを提供する。
• 不一致最小化が出力空間の変遷において効果的であることを示し、GAN とドメイン変遷の間の関係を確立する。

提案手法

• 学習者がラベル付きソースデータと、ターゲットドメインの非教師あり出力データを受け取るという出力側ドメイン変遷（ODA）を提案する。
• ソース分布とターゲットドメインにおける合成写像の間の不一致を組み込んだ一般化リスク境界を定義する。
• 要因の三角不等式を用いて、ターゲットリスクをモデルの同一性、特徴量の一貫性、および不一致の成分に分解する。
• 生成出力と実際のターゲット出力の間の分布的乖離を測るための不一致項 $\textnormal{disc}_{\mathcal{H}}(D^{y}_{2}, h\circ D_{1})$ を導入する。
• 適応モデルの性能が出力マッピングの忠実性と、生成出力と実際のターゲット出力の類似性にどのように関連するかを示す境界を導出する。
• 分類器クラス $\mathcal{H}_2$ がリプシッツ連続である場合、境界が簡略化され、DTN アルゴリズムの損失成分（例：$L_{\text{TID}}$, $L_{\text{CONST}}$）と一致することが示される。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインの非教師あり出力データのみが利用可能な場合に、一般化境界を導出できるか？
• RQ2 不一致な入力および出力サンプルが両ドメインから得られる「両側ドメイン変遷」設定は、どのようにより良い変遷を可能にするか？
• RQ3 GAN のように動作する目的関数を用いてクロスドメインサンプルを生成するドメイントランスファーネットワーク（DTN）アルゴリズムに対して、どのような理論的裏付けを提供できるか？
• RQ4 不一致に基づく境界は、出力空間のシナリオにおける GAN を用いたドメイン変遷の成功とどのように関係するか？
• RQ5 ターゲット関数の同一性を活用することで、出力側変遷におけるより緊密な一般化境界を導出できるか？

主な発見

• 本稿では、出力再構成誤差、特徴量の一貫性、および生成出力と実際のターゲット出力の間の不一致を含む、出力側ドメイン変遷（ODA）の一般化境界を導出する。
• 境界は、生成出力と実際のターゲット分布の間の不一致 $\textnormal{disc}_{\mathcal{H}}(D^{y}_{2}, h\circ D_{1})$ を最小化することで一般化性能が向上することを示している。
• 両側設定では、導出された境界が、入力空間および出力空間における同時分布の整合性を高めることでリスクを低減できることを示唆し、CoGAN の手法的有効性を裏付ける。
• ドメイントランスファー問題では、境界が DTN アルゴリズムの損失成分 $L_{\text{TID}}$（アイデンティティの保持）および $L_{\text{CONST}}$（特徴量の一貫性）を自然に導くことを正当化する。
• $\mathcal{H}_2$ がユニバーサルなリプシッツクラスである場合、境界は $R_{D_1}[h,y] \lesssim R_{D^{y}_2}[h,\text{Id}] + R_{D_1}[f\circ h,f] + \textnormal{disc}_{\mathcal{H}}(D^{y}_2, h\circ D_1) + \lambda$ に簡略化され、DTN の学習目的と一致する。
• 理論的分析により、出力側変遷において GAN を用いた不一致最小化が有効であることが確認され、従来のドメイン変遷とは異なる原理的代替手段を提供する。