[論文レビュー] Domain-Invariant Projection Learning for Zero-Shot Recognition

An Zhao, Mingyu Ding+4 more|arXiv (Cornell University)|Oct 19, 2018

Domain Adaptation and Few-Shot Learning被引用数 41

ひとこと要約

提案は Domain-Invariant Projection Learning (DIPL) を、前方投影と逆投影をドメイン不変の自己再構成タスクと superclass ベースのドメイン整列と組み合わせ、novel iterative solver によって最適化するゼロショット認識法である。標準、純粋、および generalized ZSL 設定全体で最先端の結果を達成する。

ABSTRACT

Zero-shot learning (ZSL) aims to recognize unseen object classes without any training samples, which can be regarded as a form of transfer learning from seen classes to unseen ones. This is made possible by learning a projection between a feature space and a semantic space (e.g. attribute space). Key to ZSL is thus to learn a projection function that is robust against the often large domain gap between the seen and unseen classes. In this paper, we propose a novel ZSL model termed domain-invariant projection learning (DIPL). Our model has two novel components: (1) A domain-invariant feature self-reconstruction task is introduced to the seen/unseen class data, resulting in a simple linear formulation that casts ZSL into a min-min optimization problem. Solving the problem is non-trivial, and a novel iterative algorithm is formulated as the solver, with rigorous theoretic algorithm analysis provided. (2) To further align the two domains via the learned projection, shared semantic structure among seen and unseen classes is explored via forming superclasses in the semantic space. Extensive experiments show that our model outperforms the state-of-the-art alternatives by significant margins.

研究の動機と目的

• Seen と unseen クラス間の大きなドメインギャップを持つゼロショット認識に動機づける。
• 特徴空間とセマンティック空間の間のロバストな投影を学習し、ドメインシフトを最小化する。
• ドメイン不変の feature self-reconstruction タスクを導入して min-min 最適化フレームワークを可能にする。
• セマンティック空間で共有される superclass を活用して seen と unseen のドメインを整合させる。
• 理論的分析と広範な実験を伴うスケーラブルなトランダクティブ学習アプローチを提供する。）
• method:[

提案手法

• ZSL を forward projection W^T x -> y と reverse projection x -> W y を共有正則化子と reconstruction loss を用いて min-min 最適化問題として定式化する。
• ドメイン不変ビジュアル特徴自己再構成タスクを導入して特徴表現とセマンティック表現の間の双方向の一貫性を強制する。
• ラベルなしテストインスタンスに対して unlabelled クラスのプロトタイプを最小化する min_j 目的関数を通じて transductive 学習を適用する。
• seen と unseen クラスの構造を共有するために semantic 空間で k-means クラスタリングによって superclass を生成し、これらを介してドメインを整合させる。
• 得られた Sylvester 方程式 A^(t) W^(t+1) + W^(t+1) B^(t) = C^(t) を反復的に解くアルゴリズムで eta, A, B, C を更新し、効率的な解法として Bartels-Stewart を用いる。
• 収束性分析を提供し、1 回あたりの計算量が線形にスケールし、収束が速いこと（≤5 iterations）を示す。
• DIPL を superclasses を用いた ZSL に拡張し、プロトタイプを r グループにクラスタリングして予測を superclass 構造を用いて refinement し、元の semantic prototypes で微調整する。

実験結果

リサーチクエスチョン

• RQ1 Seen と unseen クラス間のドメインギャップをゼロショット認識で効果的に bridged させるにはどうすればよいか。
• RQ2 双方向投影（forward および reverse）を課すことは unseen クラスへの一般化を改善するか。
• RQ3 transductive 学習と共有された semantic superclasses は先行法より seen と unseen のドメインをより効果的に align できるか。
• RQ4 提案された min-min 最適化ソルバーの収束挙動とスケーラビリティはどうか。
• RQ5 DIPL フレームワークは superclass を使った ZSL に拡張して large-scale データセットでの性能を改善するか。

主な発見

• DIPL は five benchmark datasets に対する standard, pure, および generalized ZSL 設定で一貫して最先端の結果を達成する。
• ドメイン不変の自己再構成と superclass ベースのドメイン整合の組み合わせは、強力なベースラインに対して顕著な改善をもたらし、中規模データセットで大きな利得を含む。
• min-min 目的関数の提案された反復ソルバーは迅速に収束し（≤5 iterations）、ドメインギャップを upper-bound solution へと縮小する。
• superclasses を用いた DIPL は unseen-class samples を superclass レベルで「seen」にすることを可能にし、 semantic-prototype レベルでの refine を導くことで性能をさらに高める。
• 大規模 ImNet において DIPL は SAE を上回る顕著な改善を達成し、大規模データへ対するスケーラビリティを実証する。