[論文レビュー] Zero-shot Domain Adaptation without Domain Semantic Descriptors

Atsutoshi Kumagai, Tomoharu Iwata|arXiv (Cornell University)|Jul 9, 2018

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 16

ひとこと要約

本稿では、ドメイン固有の記述子に依存せずに、未知ドメインにおけるドメイン固有的なモデルを推定するゼロショットドメイン適応手法を提案する。この手法は、テストドメインのラベルなし特徴ベクトル集合から学習される潜在ドメインベクトルを、ディープセットアーキテクチャと変分推論を用いて用い、複数のデータセット（MNIST-r、IoT、School）において最先端の性能を達成する。

ABSTRACT

We propose a method to infer domain-specific models such as classifiers for unseen domains, from which no data are given in the training phase, without domain semantic descriptors. When training and test distributions are different, standard supervised learning methods perform poorly. Zero-shot domain adaptation attempts to alleviate this problem by inferring models that generalize well to unseen domains by using training data in multiple source domains. Existing methods use observed semantic descriptors characterizing domains such as time information to infer the domain-specific models for the unseen domains. However, it cannot always be assumed that such metadata can be used in real-world applications. The proposed method can infer appropriate domain-specific models without any semantic descriptors by introducing the concept of latent domain vectors, which are latent representations for the domains and are used for inferring the models. The latent domain vector for the unseen domain is inferred from the set of the feature vectors in the corresponding domain, which is given in the testing phase. The domain-specific models consist of two components: the first is for extracting a representation of a feature vector to be predicted, and the second is for inferring model parameters given the latent domain vector. The posterior distributions of the latent domain vectors and the domain-specific models are parametrized by neural networks, and are optimized by maximizing the variational lower bound using stochastic gradient descent. The effectiveness of the proposed method was demonstrated through experiments using one regression and two classification tasks.

研究の動機と目的

• 時間、場所、デバイス情報などのドメイン意味的記述子を必要とする従来のゼロショットドメイン適応手法の制限を解消すること。
• トレーニング段階でそのドメインからのラベル付きまたはラベルなしデータが一切存在しない状況でも、効果的なモデル適応を可能にすること。
• テスト段階における特徴分布から直接潜在表現を学習することで、ドメイン固有のモデルを推定する手法を開発すること。
• 単一の特徴ベクトルからのドメイン特徴の推定の不安定性を、特徴ベクトルの集合を活用することで克服し、より強固なドメイン表現を実現すること。

提案手法

• ドメイン意味的記述子に依存せず、ドメインの分離可能で連続的な表現としての潜在ドメインベクトルを導入する。
• 可変サイズのラベルなし特徴ベクトル集合を処理できるディープセットアーキテクチャを用い、順序不変な入力処理を実現する。
• 入力サンプルからの特徴抽出用と、潜在ドメインベクトルに条件付けられたモデルパラメータ予測用の2つのニューラルネットワークを採用する。
• 変分推論を用いて、潜在ドメインベクトルとモデルパラメータの事後分布を同時に推定し、変分下界の確率的勾配降下法により最適化する。
• 潜在ドメインベクトルとモデルパラメータの事後分布をニューラルネットワークでパrameter化することで、エンドツーエンド学習を可能にする。
• ベイズフレームワークを活用し、特にソースドメインデータが限られた状況でも一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン意味的記述子が一切存在しない状況でも、未知ドメインに対してドメイン固有のモデルを効果的に推定できるか？
• RQ2 特徴ベクトルの集合から導出される潜在ドメインベクトルは、単一サンプルからの推定よりもドメイン特徴をよりよく表現できるか？
• RQ3 潜在ドメインベクトルの次元数が、本手法の性能にどのように影響するか？
• RQ4 ソースドメインの数が、本手法のゼロショット一般化能力に与える影響は何か？

主な発見

• 提案手法は、MNIST-r、IoT、Schoolの3つのデータセットすべてで最先端の性能を達成し、すべてのテストシナリオで既存手法を上回った。
• MNIST-rでは、すべてのベースライン手法よりも顕著に高い正確性を達成し、一部のケースでは10ポイント以上の差をつけていた。
• IoTデータセットでは、D-Doorbell や 1002-sec カメラなど、以前に存在しなかったドメインにおいても大幅な性能向上を達成した一方で、他のドメインに対しても競争力のある結果を維持した。
• Schoolデータセットでは、全ドメインカバレッジレート（90%、85%、75%、50%）において、RMSEが統計的に有意に改善された。
• 潜在ドメインベクトルの事後分布は、ドメイン特徴（例：回転角度）に従って一貫して順序付けられており、本手法が意味のあるドメイン構造を捉えていることが確認された。
• K=2からK=10の範囲で異なる潜在次元数に対しても、本手法は一貫した性能向上を示し、ベイズフレームワークの安定性が裏付けられた。