[論文レビュー] Domain2Vec: Deep Domain Generalization

Aniket Anand Deshmukh, Ankit Bansal+1 more|arXiv (Cornell University)|Jul 9, 2018

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 4

ひとこと要約

Domain2Vec (D2V) は、データ分布の統計的特徴をモデル化することでドメイン固有の埋め込みを学習する深層ニューラルネットワークアーキテクチャを提案する。その後、これらの埋め込みを入力特徴と組み合わせることでゼロショットドメイン一般化を向上させる。VLCS などの画像分類ベンチマークにおいて、70.82% の平均精度を達成し、最先端の手法を上回る性能を示した。

ABSTRACT

We address the problem of domain generalization where a decision function is learned from the data of several related domains, and the goal is to apply it on an unseen domain successfully. It is assumed that there is plenty of labeled data available in source domains (also called as training domain), but no labeled data is available for the unseen domain (also called a target domain or test domain). We propose a novel neural network architecture, Domain2Vec (D2V) that learns domain-specific embedding and then uses this embedding to generalize the learning across related domains. The proposed algorithm, D2V extends the idea of distribution regression and kernelized domain generalization to the neural networks setting. We propose a neural network architecture to learn domain-specific embedding and then use this embedding along with the data point specific features to label it. We show the effectiveness of the architecture by accurately estimating domain to domain similarity. We evaluate our algorithm against standard domain generalization datasets for image classification and outperform other state of the art algorithms.

研究の動機と目的

• 訓練データにラベルのない未学習ドメインのデータを分類できるようにするドメイン一般化の課題に対処すること。
• 複数のソースドメイン間の分布的差異を捉える、堅牢なドメイン固有の表現を学習すること。
• 統一されたニューラルネットワークフレームワーク内で入力特徴と学習済みドメイン埋め込みを組み合わせることで、一般化性能を向上させること。
• 学習済みドメイン埋め込みが真のドメイン類似度を正確に反映していることを示し、未学習ドメインへのより良い転送を可能にすること。
• 分布回帰およびカーネル化ドメイン一般化のアイデアを、エンドツーエンド学習が可能な深層ニューラルネットワーク設定に拡張すること。

提案手法

• メインネットワークが周辺データ分布からドメイン固有の埋め込みを学習する二重ストリームニューラルネットワークアーキテクチャを提案する。一方、タスクネットワークは各ドメインの分類器重みを学習する。
• 入力データ分布の統計的モーメントまたは経験的特徴関数をドメイン埋め込みとして用い、これらを入力特徴と連結する。
• 各ドメインの経験的分布を表す $\mathcal{P}_{\mathcal{X}}$ を含む拡張された特徴空間 $\mathcal{X} \times \mathcal{P}_{\mathcal{X}}$ における期待分類損失を最小化するように、モデルをエンドツーエンドで訓練する。
• メインネットワークとタスクネットワーク間で共有表現を活用することで、ドメイン間での知識移行を促進し、一般化性能を向上させる。
• 学習済み埋め込みの RBF カーネルを用いてドメイン類似度を推定する：$\exp(-\|d_p - d_q\|^2 / \sigma^2)$。合成実験では、この値が真の角類似度と相関していることが示された。
• 学習率、隠れユニット数、両ネットワークの重み減衰のハイパーパrameterをランダムサーチで最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、複数のソースドメイン間の分布的差異を捉える意味のあるドメイン固有の埋め込みを学習できるか？
• RQ2 学習済みドメイン埋め込みを入力特徴と組み合わせることで、未学習のターゲットドメインへのゼロショット一般化性能が向上するか？
• RQ3 学習済みドメイン埋め込みは、真のドメイン類似度（分布的差異）をどれほど正確に反映しているか？
• RQ4 提案されたアーキテクチャは、ドメイン一般化ベンチマークで既存の最先端手法を上回る性能を示すか？
• RQ5 モデルは、訓練ドメイン数やドメインごとの例数の変動に対して頑健か？

主な発見

• 2次元の合成データセットでは、Domain2Vec がドメイン埋め込みを学習することで、平均分類精度をポーリングNNの 73% から 96% まで向上させた。
• ヒートマップの比較により、学習済みドメイン埋め込みが真のドメイン類似度（回転角度に基づく）と強く相関していることが示された。
• VLCS ベンチマークにおけるドメインを1つずつ除外する評価（leave-one-domain-out）では、Domain2Vec が 70.82% の平均精度を達成し、すべてのベースラインを上回った。L-SVM（59.63%）、1 HNN（65.46%）、D-MTAE（69.65%）を上回った。
• 訓練ドメインの数やドメインごとの例数が増えるにつれて性能が向上したため、スケーラビリティとデータ効率性が確認された。
• VOC2007、LabelMe、SUN09 を訓練データとして用いた場合、Caltech-101 ターゲットドメインで 92.50% の精度を達成し、次に良い手法（D-MTAE 92.43%）を上回った。
• VLCS の4つのすべてのターゲットドメインで一貫した向上が見られ、特に SUN09 ターゲットで最大の向上を示した（D-MTAE 61.85% 対 62.02%）。