[論文レビュー] Mind the Gap: Subspace based Hierarchical Domain Adaptation

Anant Raj, Vinay P. Namboodiri+1 more|arXiv (Cornell University)|Jan 16, 2015

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 4

ひとこと要約

本稿では、全ソースおよびターゲットドメイン全体ではなく、意味的カテゴリ内での部分空間の別々の整合化により性能を向上させる階層的サブスペースベースのドメイン適応手法を提案する。カテゴリの階層を活用して親クラスおよび子クラスのための別個のサブスペースを学習することにより、Caltech-256およびBing-Caltechデータセットにおいて非階層的ベースラインより一貫した精度向上を達成する。

ABSTRACT

Domain adaptation techniques aim at adapting a classifier learnt on a source domain to work on the target domain. Exploiting the subspaces spanned by features of the source and target domains respectively is one approach that has been investigated towards solving this problem. These techniques normally assume the existence of a single subspace for the entire source / target domain. In this work, we consider the hierarchical organization of the data and consider multiple subspaces for the source and target domain based on the hierarchy. We evaluate different subspace based domain adaptation techniques under this setting and observe that using different subspaces based on the hierarchy yields consistent improvement over a non-hierarchical baseline

研究の動機と目的

• 視覚分類におけるドメインシフトを、クラスの階層的組織化を通じてサブスペースベースのドメイン適応を改善することによって解決すること。
• 階層を用いてカテゴリ間の意味的類似性をモデル化することで、ドメイン適応の性能が向上するかどうかを調査すること。
• まず親レベルでサブスペースを整合化し、次に子カテゴリ内で整合化する段階的サブスペース整合化戦略を開発すること。
• 既知の意味的階層を持つ実世界のデータセットにおいて、階層的サブスペース整合化の有効性を評価すること。
• 階層的サブスペース整合化が、明示的な階層ラベルが存在しないデータセットに対しても、意味的に類似したクラスの非教師付きクラスタリングを可能にすることで一般化可能であることを示すこと。

提案手法

• 本手法は、意味的に類似したクラスを親ノードにグループ化し、そのサブカテゴリを子ノードに分類することで、カテゴリの階層構造を構築する。
• PCAをソースおよびターゲットデータにそれぞれ適用することで、各親カテゴリおよびその子カテゴリごとに独立してサブスペースを学習し、複数のドメイン固有のサブスペースを生成する。
• 各階層レベルにおいて、サブスペース整合化（SA）または地図的フロー核（GFK）を用いて、ソースサブスペースをターゲットサブスペースにマップする変換行列を学習する。
• 階層的アプローチは段階的なドメイン適応を適用する：まずルートレベル（全データ）、次に親レベル、最後に子カテゴリ内で処理を行う。
• サブスペースの類似度は、サブスペース基底行列のドット積のトレースを用いて測定され、整合化の質を検証する。
• サブスペースに射影された特徴量を用いてK-NN分類器を適用し、頑健性を確保するため、サブスペースのランクを53に設定する（過去の手順に従う）。

実験結果

リサーチクエスチョン

• RQ1 非階層的アプローチと比較して、階層的サブスペース整合化はドメイン適応の性能を向上させるか？
• RQ2 親クラスおよび子クラスごとにサブスペースを別々に学習する場合と、グローバルに学習する場合とで、ドメイン適応の性能はどのように変化するか？
• RQ3 ソースおよびターゲットドメインにおける意味的に類似したカテゴリのサブスペースは、どの程度互いに整合化されるか？
• RQ4 本手法は、明示的な階層ラベルが存在しないデータセットに対しても、意味的に類似したクラスのクラスタリングを可能にすることで一般化可能か？
• RQ5 階層的構造は、異なる粒度のレベルでソースとターゲットサブスペース間の類似度にどのような影響を与えるか？

主な発見

• 階層的サブスペース整合化手法は、Caltech-256からBing-Caltechへのドメイン適応タスクで40.78%の精度を達成し、サブスペース整合化を用いた非階層的ベースライン（39.24%）を上回った。
• 逆方向（Bing-CaltechからCaltech-256）でも、階層的手法は48.36%の精度を達成し、非階層的ベースライン（44.12%）を上回った。
• 表2の類似度行列から、同じ親カテゴリ（Avian）のソースおよびターゲットサブスペース間に最大の類似度（3.74）が観察され、意味的グループ内での有効な整合化が確認された。
• 非対角成分の類似度は顕著に低く（例：AvianソースとTerrestrialターゲットでは0.18）、意味的に異なるカテゴリのサブスペースは明確に分離されていることが示された。
• ルートレベルの類似度（3.96）は高いが、親レベルの類似度より低く、グローバルな整合化はカテゴリ固有の整合化より効果が低いことが示唆された。
• 本手法はドメインシフトの両方向において一貫して性能を向上させ、頑健性および一般化可能性を示した。