[論文レビュー] Domain Adaptation with Randomized Expectation Maximization

Twan van Laarhoven, Elena Marchiori|arXiv (Cornell University)|Mar 20, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

本稿では、ロジスティック回帰またはSVMを用いて、ラベルなしのターゲットデータの予測を繰り返し精錬することで、最先端の性能を達成するシンプルでスケーラブルなドメイン適応手法（Ad-REM）を提案する。この手法は、36の多様なテキストおよび画像タスクにおいて、複雑なディープ転移学習手法を上回り、特に事前学習済みネットワークからの特徴量を組み合わせた場合に顕著な効果を示す。

ABSTRACT

Domain adaptation (DA) is the task of classifying an unlabeled dataset (target) using a labeled dataset (source) from a related domain. The majority of successful DA methods try to directly match the distributions of the source and target data by transforming the feature space. Despite their success, state of the art methods based on this approach are either involved or unable to directly scale to data with many features. This article shows that domain adaptation can be successfully performed by using a very simple randomized expectation maximization (EM) method. We consider two instances of the method, which involve logistic regression and support vector machine, respectively. The underlying assumption of the proposed method is the existence of a good single linear classifier for both source and target domain. The potential limitations of this assumption are alleviated by the flexibility of the method, which can directly incorporate deep features extracted from a pre-trained deep neural network. The resulting algorithm is strikingly easy to implement and apply. We test its performance on 36 real-life adaptation tasks over text and image data with diverse characteristics. The method achieves state-of-the-art results, competitive with those of involved end-to-end deep transfer-learning methods.

研究の動機と目的

• エンドツーエンドのディープ転移学習と同等の性能を発揮し、高次元データにスケーラブルなドメイン適応手法の開発。
• 既存のドメイン乖離ベース手法の限界（計算コストの高さ、高次元データやドメインシフトに弱い）を克服すること。
• 事前学習済みネットワークからの特徴量と組み合わせた場合に、シンプルなEMベースのアプローチがラベルなしターゲットデータを効果的に活用できるかを検証すること。
• テキストおよび画像データを含む、ドメインシフトの程度が異なる多様な実世界の適応タスクにおいて、手法の性能を評価すること。

提案手法

• 本手法は、ラベルなしターゲットデータを、元のソースデータで学習したモデルを用いて繰り返し再ラベル付けするランダム化期待最大化（EM）フレームワークを採用。ラベルの信頼度を用いて、次のラウンドでモデルを更新する。
• 2つのバリエーションを提案：Ad-REM LR（ロジスティック回帰）とAd-REM SVM（サポートベクターマシン）。両者ともソースデータで学習し、疑似ラベルが付与されたターゲットサンプルを用いて精錬する。
• アルゴリズムは、期待（ターゲットデータにおけるクラス確率の予測）と最大化（ソースデータと疑似ラベル付きターゲットデータを用いた分類器の再訓練）のステップを交互に繰り返す。
• EMプロセスにランダム化を導入することで、劣悪な局所最適解への収束を回避し、より高いロバストネスと一般化性能を実現。
• 事前学習済みディープニューラルネットワーク（例：ResNet、VGG）から抽出した特徴量を直接統合することで、ネットワークの微調整なしに効果的な適応が可能。
• 本手法は、ソースとターゲットドメインの両方に共通する線形分類器が一般化可能であると仮定し、繰り返し精錬によってドメインシフトに対応する柔軟性を有する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのディープネットワーク訓練を伴わずに、シンプルなランダム化EMベースの手法がドメイン適応で最先端の性能を達成できるか？
• RQ2 高次元のディープ特徴量に適用した場合、提案手法Ad-REMは複雑なディープ転移学習手法と比べてどのように性能を発揮するか？
• RQ3 ソースとターゲットドメインの語彙的または特徴量分布のシフトが顕著な場合（例：製品タイプごとのセンチメント分析）、本手法は依然として有効か？
• RQ4 特に、既存のドメイン乖離最小化手法と比較して、本手法は高次元データセットに対してどれほどスケーラブルか？
• RQ5 事前学習済みディープ特徴量の恩恵をどれほど受けることができるか。また、このような特徴量に対して、浅いドメイン適応ベースラインを上回るか？

主な発見

• Office-31データセットにおいて、Ad-REM LRはResNet-50特徴量を用いて平均96.6%の正確度を達成し、JAN-A（84.6%）を含むすべてのベースラインを上回った。
• Cross Dataset Testbedでは、Ad-REM LRは修正済みDECAF-fc7特徴量を用いて51.1%の正確度を達成し、2番目に良い手法（CORAL：43.9%）を顕著に上回った。
• Office-Caltech 10データセットでは、Ad-REM LRがResNet-50特徴量を用いて平均96.7%の正確度を達成し、次に良い手法（CORAL：SURF特徴量で48.8%）を上回った。
• 本手法は、テキストおよび画像ドメインの36の実世界の適応タスクで最先端の結果を達成し、強力な一般化性能とロバストネスを示した。
• Ad-REM LRは、ソースオンリーベースライン（Office-31で91.4%）を平均5ポイント以上上回った。これは、ラベルなしターゲットデータの活用による明確な利点を示している。
• 本手法は非常にスケーラブルで効率的であり、ドメイン乖離最小化手法の超二次的計算量を回避するため、高次元データに適している。