[論文レビュー] Zero-Shot Domain Adaptation via Kernel Regression on the Grassmannian

Yongxin Yang, Timothy M. Hospedales|arXiv (Cornell University)|Jul 28, 2015

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 12

ひとこと要約

本論文は、標本データにアクセスせずにターゲットドメインの部分空間をドメイン記述子から予測するため、グレイスマン多様体上でのカーネル回帰を用いたゼロショットドメイン適応（ZSDA）を提案する。この手法は、すべてのターゲットで平均4.75%の精度向上を達成し、多様体値回帰を用いることで未学習ドメインへの一般化が有効であることを示している。

ABSTRACT

Most visual recognition methods implicitly assume the data distribution remains unchanged from training to testing. However, in practice domain shift often exists, where real-world factors such as lighting and sensor type change between train and test, and classifiers do not generalise from source to target domains. It is impractical to train separate models for all possible situations because collecting and labelling the data is expensive. Domain adaptation algorithms aim to ameliorate domain shift, allowing a model trained on a source to perform well on a different target domain. However, even for the setting of unsupervised domain adaptation, where the target domain is unlabelled, collecting data for every possible target domain is still costly. In this paper, we propose a new domain adaptation method that has no need to access either data or labels of the target domain when it can be described by a parametrised vector and there exits several related source domains within the same parametric space. It greatly reduces the burden of data collection and annotation, and our experiments show some promising results.

研究の動機と目的

• 各新しいターゲットドメインに対して高価なデータ収集を要する従来のドメイン適応のスケーラビリティの限界を解消すること。
• 連続的ベクトル（例：カメラアングル、時間帯）でパラメータ化されたドメインを想定する、ゼロショットドメイン適応（ZSDA）という新しい問題設定を定式化すること。
• ターゲットドメインデータやラベルを必要とせず、ドメインメタデータのみを用いてテスト時における即時のモデルキャリブレーションを可能にすること。
• 関連するソースドメインに基づいて未学習のターゲットドメインの部分空間構造を予測するための多様体値回帰フレームワークを開発すること。
• グレイスマン多様体上でのカーネル回帰による部分空間予測が、ターゲットデータを観測しなくても効果的なドメインアライメントを可能にすることを実証すること。

提案手法

• ドメイン記述子（例：[アングル, 時間]）をグレイスマン多様体上の部分空間にマップすることで、ドメインシフト問題を多様体値データ回帰として定式化する。
• RBFカーネルを用いたカーネル回帰を用い、既知の部分空間と記述子を持つ複数のソースドメインから、ターゲットドメインの部分空間を予測する。
• 各ドメインのデータ分布をPCAなどの手法により低次元部分空間として表現し、グレイスマン多様体に埋め込む。
• ソース分類器と予測されたターゲット部分空間間のドメイン適応に、地図的流れ（GFK）アルゴリズムを適用する。
• ドメイン記述子を入力、対応する部分空間を出力として回帰モデルを学習し、未学習ドメインのゼロショット予測を可能にする。
• 複数のソースドメインを用いて回帰関数を学習するが、最終的な分類には1つのラベル付きソースドメインのみを用いる。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメインのデータにアクセスせずに、その連続的ドメイン記述子のみを用いてその部分空間を予測できるか？
• RQ2 トレーニング時に観測されなかったドメインの部分空間を、グレイスマン多様体上でのカーネル回帰がどれほどうまく一般化できるか？
• RQ3 予測された部分空間は、ターゲットラベルが存在しない状況でも効果的なドメイン適応を可能にし、分類精度を向上させるか？
• RQ4 ドメイン記述子空間におけるソースドメインとターゲットドメインの距離に応じて性能はどのように変化するか？
• RQ5 カメラアングルや照明といった多様なドメイン要因で、それらが連続的であっても、このアプローチは一般化可能か？

主な発見

• 提案手法のZSDAは、すべてのターゲットドメインにおいて、ドメイン適応なしの場合と比較して平均4.75%の精度向上を達成した。
• domain_5では、ドメイン適応なしの場合の平均精度67.88%から、ZSDA → GFKに移行することで70.29%に向上し、クロスドメイン性能低下を半分以下に削減した。
• 距離の遠いドメインに対して特に顕著な向上が見られた：たとえば、domain_9では46.41%から50.76%に4.35%の向上を達成したが、ターゲットデータは一切使用していない。
• すべてのターゲットドメインにおいて一貫した性能向上が得られ、ドメインの近さに応じて1.5%から4.35%の精度向上が見られた。
• ドメイン記述子の変動に対してもロバストであり、記述子空間上でどのソースドメインに対しても遠く離れたターゲットドメインに対しても高い性能を示した。
• メタデータのみを用いることで効果的なドメイン適応が可能であり、実世界の展開において即時のモデルキャリブレーションの実現可能性を示した。