[論文レビュー] Domain Adaptation via Maximum Independence of Domain Features

Ke Yan, Lu Kou+1 more|arXiv (Cornell University)|Mar 15, 2016

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、デバイスラベルや取得時刻などのドメイン固有属性から特徴量を最大限に独立させるように学習することにより、ドメインシフトを低減する Maximum Independence Domain Adaptation (MIDA) を提案する。共有特徴量とドメイン特徴量の間の独立性を強制することにより、MIDA は離散的および連続的ドメインシフトの両方を効果的に処理でき、ラベル情報を利用した半教師あり拡張手法 SMIDA を備えており、センサーや測定、コンピュータビジョンタスクにおいて優れた性能を示している。

ABSTRACT

When the distributions of the source and the target domains are different, domain adaptation techniques are needed. For example, in the field of sensors and measurement, discrete and continuous distributional change often exist in data because of instrumental variation and time-varying sensor drift. In this paper, we propose maximum independence domain adaptation (MIDA) to address this problem. Domain features are first defined to describe the background information of a sample, such as the device label and acquisition time. Then, MIDA learns features which have maximal independence with the domain features, so as to reduce the inter-domain discrepancy in distributions. A feature augmentation strategy is designed so that the learned projection is background-specific. Semi-supervised MIDA (SMIDA) extends MIDA by exploiting the label information. The proposed methods can handle not only discrete domains in traditional domain adaptation problems but also continuous distributional change such as the time-varying drift. In addition, they are naturally applicable in supervised/semi-supervised/unsupervised classification or regression problems with multiple domains. This flexibility brings potential for a wide range of applications. The effectiveness of our approaches is verified by experiments on synthetic datasets and four real-world ones on sensors, measurement, and computer vision.

研究の動機と目的

• ソースドメインとターゲットドメインのデータ分布が異なる状況において、機械学習におけるドメインシフトを解消すること。
• 異なるセンサーや他の要因による離散的ドメインシフト（例：異なるセンサー）と、時間経過に伴うセンサードリフトのような連続的シフトを同時にモデル化すること。
• ラベルなしターゲットデータに依存せずにドメイン不変表現を学習する手法を開発すること。
• より広範な適用性を実現するため、半教師ありおよび教師あり設定への拡張を図ること。
• 分類および回帰の両方のタスクに適用可能な、複数のドメインに一般化可能な統一されたフレームワークを提供すること。

提案手法

• デバイスID や取得時刻などの背景情報（バックグラウンド）を捉えるドメイン特徴量を定義する。
• 共有特徴量とドメイン特徴量の間の統計的独立性を最大化する損失関数を定式化する。
• 各背景に特化した射影を実現するための特徴量増強戦略を用いることで、ドメイン一般化性能を向上させる。
• ニューラルネットワークベースの射影を用いて、ドメイン特徴量への依存度を最小限に抑えつつ、不変表現を学習する。
• ラベル付きターゲットデータを統合することで、半教師あり設定での性能向上を図るため、MIDA を SMIDA に拡張する。
• 勾配ベースの最適化手法を用いて、ドメイン依存度を最小限に抑えつつ、予測性能を維持するようにモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の特徴量からの独立性を最大化することで、ドメイン不変表現を学習できるか？
• RQ2 時間経過に伴うセンサードリフトのような連続的ドメインシフトに対しても、この手法は一般化性能を示せるか？
• RQ3 最小限の仮定のもとで、半教師ありおよび教師あり学習に拡張可能か？
• RQ4 特徴量増強戦略は、背景に特化した適応において性能向上をもたらすか？
• RQ5 MIDA は、実世界のセンサーやビジョンデータセットにおいて、既存のドメイン適応手法と比較して優れた性能を示すか？

主な発見

• MIDA はドメイン特徴量からの特徴量の最大限の独立性を学習することで、ドメイン間での一般化性能を向上させ、ドメインシフトを効果的に低減している。
• 本手法は、離散的ドメインと時間変動するセンサードリフトのような連続的分布変化の両方に対して、良好な一般化性能を示している。
• 半教師ありバージョンである SMIDA は、限られたラベル付きターゲットデータを活用することで性能を向上させている。
• 本手法は、センサーや測定、コンピュータビジョン分野の4つの実世界データセットにおいて、強力な結果を達成している。
• 特徴量増強戦略は、ドメイン固有の適応を強化し、耐障害性と性能の両方を向上させている。