[論文レビュー] An Extended Framework for Marginalized Domain Adaptation

Gabriela Csurka, Boris Chidlovskii+2 more|arXiv (Cornell University)|Feb 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 5

ひとこと要約

本稿では、ドメインとクラス正則化を施したノイズ除去オートエンコーダを用いて、反復的なデータ汚染サンプリングを必要とせずにドメイン不変特徴量と分類器を同時に学習する拡張されたマージナライズドドメイン適応フレームワークを提案する。閉形式線形行列系（例：$AX = B$）とシルベスタ方程式（$AX + XB = C$）の反復的解法を用いることで、教師あり、教師なし、半教師ありの設定において最先端の性能を達成するとともに、計算効率も確保する。

ABSTRACT

We propose an extended framework for marginalized domain adaptation, aimed at addressing unsupervised, supervised and semi-supervised scenarios. We argue that the denoising principle should be extended to explicitly promote domain-invariant features as well as help the classification task. Therefore we propose to jointly learn the data auto-encoders and the target classifiers. First, in order to make the denoised features domain-invariant, we propose a domain regularization that may be either a domain prediction loss or a maximum mean discrepancy between the source and target data. The noise marginalization in this case is reduced to solving the linear matrix system $AX=B$ which has a closed-form solution. Second, in order to help the classification, we include a class regularization term. Adding this component reduces the learning problem to solving a Sylvester linear matrix equation $AX+BX=C$, for which an efficient iterative procedure exists as well. We did an extensive study to assess how these regularization terms improve the baseline performance in the three domain adaptation scenarios and present experimental results on two image and one text benchmark datasets, conventionally used for validating domain adaptation methods. We report our findings and comparison with state-of-the-art methods.

研究の動機と目的

• 明示的なデータ汚染を必要とせずに、ドメインシフトの課題に取り組むためにドメイン不変表現を学習する。
• 教師あり、教師なし、半教師ありのドメイン適応シナリオをサポートできるように、マージナライズドノイズ除去オートエンコーダ（MDA）フレームワークを拡張する。
• ドメイン不変特徴学習を促進する2つの正則化機構（ドメイン予測損失と最大平均差分（MMD））を導入する。
• クラス正則化項を用いて特徴ノイズ除去と分類器学習を共同最適化し、ターゲット分類性能を向上させる。
• 閉形式または反復的解法による線形行列方程式の解法に学習問題を還元することで、計算効率を維持する。

提案手法

• オートエンコーダにノイズマージナライゼーションを適用し、反復的汚染サンプリングを必要とせずに、ノイズ除去特徴量の閉形式計算を可能にする。
• ドメイン予測損失（敵対的スタイル）またはMMDを用いてドメイン正則化を導入し、ソースドメインとターゲットドメインの分布を一致させる。
• 分類器学習を含めた共同最適化を、解法が効率的な反復的メソッドで解けるシルベスタ行列方程式 $AX + XB = C$ として定式化する。
• 教師あり（ラベルなしターゲットデータのみ）、教師あり（ラベルありターゲットデータ）、半教師あり（両方）の3つの適応設定に同一フレームワークを適用する。
• 1層目の出力であるノイズ除去特徴量を次の層の入力として使用することで、マルチレイヤースタッキングを可能にし、逆伝播を一切使用せずに非線形表現を実現する。
• バックプロパゲーションやGPU集約型学習を回避することで、行列システムソルバーに依存するスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 教師ありおよび半教師あり設定において、明示的なドメイン正則化を施したノイズ除去オートエンコーダを用いて、ドメイン不変特徴量を効果的に学習できるか？
• RQ2 特徴ノイズ除去と分類器学習の共同最適化は、クロスドメイン分類タスクにおける一般化性能をどのように向上させるか？
• RQ3 本手法は、既存の特徴変換法およびディープドメイン適応手法と比較して、精度と計算コストの面でどの程度優れているか？
• RQ4 バックプロパゲーションを用いた深層ニューラルネットワーク学習に代えて、線形システムソルバーのみを用いることで、高い性能を維持できるか？
• RQ5 ドメイン予測損失とMMDという異なるドメイン正則化戦略は、ドメイン不変性および分類精度の向上において、どのように比較されるか？

主な発見

• 提案手法S1MはOC10データセットで86.5%の精度を達成し、ドメイン適応SVM（70.3%）および補助分類器手法（84%）を上回ったが、JDAおよびTTM（87.5%）にはわずかに及ばなかった。
• OFF31データセットでは、L12 + NN手法が平均64.3%の精度を達成し、GFK+SVM（49.1%）、SA+SVM（49.1%）、TCA+SVM（50.9%）、CORAL+SVM（64.0%）を上回った。
• L1D + RDGバージョンはOFF31で平均65.3%の精度を達成し、大多数の特徴変換ベースラインを上回り、DAN（72.9%）のようなディープラーニング手法に近づいた。
• AMTでは、L1D + Zl手法が82.2%の精度を達成し、30,000次元の特徴量を用いる5層スタックMDAを備えたより複雑なDANNモデルと同等の性能を示した。
• 半教師あり設定では、L12C + DSCM手法がBOV特徴量を用いてOC10で55.8%の精度を達成し、GFK（48.6%）、SA（53.6%）、MMDT（52.5%）を上回った。
• バックプロパゲーションに依存せず、線形システムの解法に依存することで、大規模データでも高速な学習と推論を実現する高効率性を維持している。