[論文レビュー] Joint Geometrical and Statistical Alignment for Visual Domain Adaptation

Jing Zhang, Wanqing Li+1 more|arXiv (Cornell University)|May 16, 2017

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 64

ひとこと要約

JGSA は、ソースとターゲットドメイン間の分布シフトと幾何学的シフトを同時に最小化する2つの結合投影を学習し、オブジェクト認識・数字認識・RGB-D アクション認識タスクを跨る教師なし視覚的ドメイン適応を向上させます。

ABSTRACT

This paper presents a novel unsupervised domain adaptation method for cross-domain visual recognition. We propose a unified framework that reduces the shift between domains both statistically and geometrically, referred to as Joint Geometrical and Statistical Alignment (JGSA). Specifically, we learn two coupled projections that project the source domain and target domain data into low dimensional subspaces where the geometrical shift and distribution shift are reduced simultaneously. The objective function can be solved efficiently in a closed form. Extensive experiments have verified that the proposed method significantly outperforms several state-of-the-art domain adaptation methods on a synthetic dataset and three different real world cross-domain visual recognition tasks.

研究の動機と目的

• トレーニングとテストの分布が異なるクロスドメインの視覚認識に対して、教師なしドメ-domain適応を動機づける。
• ドメイン間の分布的（統計的）シフトと幾何的（部分空間）シフトの両方を低減する統一フレームワークを提案する。
• 共有特徴とドメイン固有特徴の両方を活用して、ソース情報の識別性を保持しつつターゲットの分散を拡張する。
• 閉形式の最適化解を提供し、非線形シフトに対応するカーネライズド版へ拡張する。

提案手法

• データを低次元の部分空間へ写像する2つの結合投影A（ソース）とB（ターゲット）を学習する。
• ターゲット分散を最大化する：Maximize Tr(B^T S_t B)。
• ソースの識別情報を保持する：Tr(A^T S_b A) を最大化し、Tr(A^T S_w A) を最小化する。
• 分布シフトを最小化する：限界分布と条件付き分布を組み込んだ結合MS（MMDベース）の目的関数を最小化する（式7–9）。
• 部分空間の発散を最小化する：||A−B||_Fを最小化して部分空間を幾何学的に揃える。
• ブロック行列の一般化固有値分解（Eq. 19）で解くとともに、ターゲットデータの擬似ラベルを反復的に改良する。
• 非線形シフトに対処するためRepresenter定理を用いたカーネライズド拡張を提供する（Eq. 21）。

実験結果

リサーチクエスチョン

• RQ1 統計的分布シフトと幾何的な部分空間シフトの両方に同時に対処することで、教師なしドメイン適応を効果的に実現できるか。
• RQ2 2つのドメイン特有の投影を結合することで、単一の統一された部分空間に依存する方法や純粋にデータ中心のアプローチを上回るか。
• RQ3 ドメインシフト下で、JGSAは物体認識、数字認識、RGB-Dアクション認識の各タスクでどのように機能するか？
• RQ4 カーネライズド（非線分）版のJGSAは複雑なドメインシフトに有益か？

主な発見

• JGSAは合成データおよび3つの実世界のクロスドメインタスクで、いくつかの最先端のドメイン適応手法を上回る。
• JGSAの primal（線形）および kernelized（RBF）版の両方が、物体認識ベンチマークで優れた結果を達成。
• JGSAは複数のデータセット対において、SA/SDA/TCA/JDA/TJM/SCA/OTGL/KEMAのベースラインを一貫して上回る。
• ターゲットドメインの擬似ラベルを反復的に改良することは、条件付き分布シフトをさらに低減し、整合を改善するのに役立つ。
• 手法は、統計的および幾何学的整合の原理的な結合最適化を提供しつつ、強力なベースラインに対して競争力のある実行時間を維持する。