[論文レビュー] Zero-Shot Deep Domain Adaptation

Kuan–Chuan Peng, Ziyan Wu+1 more|arXiv (Cornell University)|Jul 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 4

ひとこと要約

本稿では、タスク関連のターゲットドメイン学習データを必要とせずにドメイン適応とセンサーフュージョンを可能にする新規手法であるゼロショットディープドメインアダプテーション（ZDDA）を提案する。タスクに無関係な二重ドメインペア（例：Fashion-MNISTのグレースケールとRGB画像ペア）を活用することで、ZDDAはソースドメインの表現をターゲットドメインの意味論にあわせるための共同ネットワークを学習し、MNIST→MNIST-MおよびSUN RGB-Dシーン分類において、トレーニング時にターゲットドメインデータが存在しない状況でも優れた性能を達成する。

ABSTRACT

Domain adaptation is an important tool to transfer knowledge about a task (e.g. classification) learned in a source domain to a second, or target domain. Current approaches assume that task-relevant target-domain data is available during training. We demonstrate how to perform domain adaptation when no such task-relevant target-domain data is available. To tackle this issue, we propose zero-shot deep domain adaptation (ZDDA), which uses privileged information from task-irrelevant dual-domain pairs. ZDDA learns a source-domain representation which is not only tailored for the task of interest but also close to the target-domain representation. Therefore, the source-domain task of interest solution (e.g. a classifier for classification tasks) which is jointly trained with the source-domain representation can be applicable to both the source and target representations. Using the MNIST, Fashion-MNIST, NIST, EMNIST, and SUN RGB-D datasets, we show that ZDDA can perform domain adaptation in classification tasks without access to task-relevant target-domain training data. We also extend ZDDA to perform sensor fusion in the SUN RGB-D scene classification task by simulating task-relevant target-domain representations with task-relevant source-domain data. To the best of our knowledge, ZDDA is the first domain adaptation and sensor fusion method which requires no task-relevant target-domain data. The underlying principle is not particular to computer vision data, but should be extensible to other domains.

研究の動機と目的

• 技術的・予算的・規制的制約により、タスク関連のターゲットドメイン学習データがしばしば入手できないという実用的制限に対処すること。
• ラベル付きまたはラベルなしのターゲットドメインデータに依存せずにドメイン適応を実行するディープラーニング手法を開発すること。
• アプローチをセンサーフュージョンに拡張し、両モダリティにペアドトレーニングデータを必要とせずにRGBと深度データの強力な統合を可能にすること。
• ZDDAが、ターゲットドメインデータにアクセス可能な既存手法でさえも上回ることを示すこと。
• MNIST、Fashion-MNIST、NIST、EMNIST、SUN RGB-Dを含む多様なデータセットにおいて、手法の有効性を検証すること。

提案手法

• ZDDAは、タスクに無関係な二重ドメインペア（例：Fashion-MNISTのグレースケールとRGB画像）を用い、トレーニング中にターゲットドメインの表現を模倣する。
• タスク関連のソースドメインからの監督と、ソースと模倣されたターゲット表現間の整合性損失に基づいて、共同ディープニューラルネットワークを学習する。
• ソースドメインデータからの特徴抽出に共通のエンコーダーを採用し、タスク（例：分類）に特化したドメイン固有のヘッドを用いる。
• コントラスト型または敵対的損失を用いてドメイン不変表現を学習し、ソースドメインと模倣されたターゲットドメインの特徴を一致させる。
• センサーフュージョンの文脈では、ZDDAはソースドメインデータ（例：深度）と模倣されたターゲットドメインデータ（例：RGB）に基づいた共同分類器を学習し、両モダリティにペアドトレーニングデータを必要とせずに統合を可能にする。
• ステップ3でノイズのあるデータを用いてトレーニングすることで、実世界のセンサーデグレードに耐性を持つようにフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 タスク関連のターゲットドメイン学習データに一切アクセスせずにドメイン適応を達成できるか？
• RQ2 タスクに無関係な二重ドメインペアを用いて、ドメイン適応のためのターゲットドメイン表現を効果的に模倣できるか？
• RQ3 ZDDAは、ターゲットドメインデータを必要とする既存のドメイン適応手法を上回るか？
• RQ4 ZDDAは、両モダリティにペアドトレーニングデータを必要とせずにセンサーフュージョンタスクに適用可能か？
• RQ5 推論時、ソースまたはターゲットドメインの入力にノイズが含まれる場合、ZDDAはどの程度耐性を示すか？

主な発見

• ZDDAは、MNIST-Mのトレーニングデータを一切使用せずにMNIST-M分類で59.74％の精度を達成し、同様のデータにアクセス可能な複数の最先端DA手法を上回った。
• SUN RGB-Dデータセットでは、ZDDA 3は深度データと模倣されたRGBデータのみを用いて10クラス分類で63.16％の精度を達成し、ノイズ下でのナーブな統合を上回った。
• ZDDAは5分割および10分割交差検証において一貫した性能を示し、異なるデータ分割やクラス選択に対しても安定した結果を示した。
• ZDDA 3はノイズのあるテストデータに対して優れた耐性を示した：RGBおよび深度モダリティの両方で高ノイズ条件下でも、ナーブな統合を最大15％上回る精度を達成した。
• ノイズのあるデータ（例：黒い長方形）でトレーニングした場合でも、ZDDAは強い性能を維持し、他のノイズモデルに対しても一般化可能であることが示され、強力な耐性を示した。
• ZDDAはゼロショットドメイン適応およびセンサーフュージョンにおいて最先端の性能を達成し、データが限られる状況における新たなベンチマークを確立した。