[論文レビュー] Progressively Select and Reject Pseudo-labelled Samples for Open-Set Domain Adaptation

Qian Wang, Fanlin Meng+1 more|arXiv (Cornell University)|Oct 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 8

ひとこと要約

本論文は、オープンセット局所性保存射影（OSLPP）を用いて、逐次的に既知クラスの偽ラベル付きサンプルを選択し、未知クラスの外れ値を除外する、新規のオープンセットドメイン変換フレームワークを提案する。OSLPPは、既知クラスのソースおよびターゲットデータを共有部分空間で整合させつつ、未知クラスのサンプルを遠ざけるように学習する。この手法により、Office-31で平均87.4%のHOS、Office-Homeで67.0%のHOSという最先端の性能を達成した。

ABSTRACT

Domain adaptation solves image classification problems in the target domain by taking advantage of the labelled source data and unlabelled target data. Usually, the source and target domains share the same set of classes. As a special case, Open-Set Domain Adaptation (OSDA) assumes there exist additional classes in the target domain but not present in the source domain. To solve such a domain adaptation problem, our proposed method learns discriminative common subspaces for the source and target domains using a novel Open-Set Locality Preserving Projection (OSLPP) algorithm. The source and target domain data are aligned in the learned common spaces class-wisely. To handle the open-set classification problem, our method progressively selects target samples to be pseudo-labelled as known classes and rejects the outliers if they are detected as from unknown classes. The common subspace learning algorithm OSLPP simultaneously aligns the labelled source data and pseudo-labelled target data from known classes and pushes the rejected target data away from the known classes. The common subspace learning and the pseudo-labelled sample selection/rejection facilitate each other in an iterative learning framework and achieves state-of-the-art performance on benchmark datasets Office-31 and Office-Home with the average HOS of 87.4% and 67.0% respectively.

研究の動機と目的

• 未知クラスのサンプルが既知クラスと不整合になることによる負の転送問題を解消すること。
• 局所構造を保持するとともに、既知クラスと未知クラスを分離する共通部分空間を学習することで、ソースドメインとターゲットドメイン間のドメイン整合性を向上させること。
• 反復学習における誤差蓄積を低減するため、信頼性の高い偽ラベル付きサンプルの選択および外れ値の除外を段階的に行う戦略を開発すること。
• ハイパーパrameterの選択にかかわらず、ベンチマーク上のオープンセットドメイン変換データセットで最先端の性能を達成すること。

提案手法

• 既知クラスのソースデータと偽ラベル付きターゲットデータを整合させつつ、除外されたサンプル（外れ値）を既知クラスから遠ざける共通部分空間を学習する、LPPの変種であるオープンセット局所性保存射影（OSLPP）を導入する。
• 段階的偽ラベル化戦略を採用：初期段階ではターゲットサンプルを既知クラスとしてラベル付けし、その後反復的に信頼性の高いサンプルを選別し、すべての既知クラスから離れたサンプルを除外する。
• T反復にわたり、OSLPPに基づく部分空間学習と偽ラベル選択／除外を交互に繰り返すことで、整合性と外れ値検出の相互強化を実現する。
• 計算コストとノイズを低減するため、OSLPPの前段階でPCAを適用し、部分空間次元をハイパーパramータ $d_{PCA}$ および $d$ で制御する。
• t-SNEを用いた可視化により、学習された共通部分空間におけるクラス分離性と外れ値分離の向上を確認する。
• 認識精度（OS*）と未知クラス認識精度（UNK）のトレードオフを実現するため、ハイパーパramータ $n_r$（初期除外数）と $T$（反復回数）を調整する。

実験結果

リサーチクエスチョン

• RQ1 既知クラスのソースおよびターゲットデータを統合し、未知クラスのサンプルを遠ざける共通部分空間を学習できるか？
• RQ2 偽ラベル付きサンプルの段階的選択および除外戦略は、オープンセットドメイン変換における誤差蓄積を低減し、一般化性能を向上させるか？
• RQ3 本手法は、既知クラスと未知クラスの認識精度の調和平均（HOS）という観点から、最先端の手法と比較してどのように優れているか？
• RQ4 ハイパーパramータ $n_r$ および $T$ の選択にどれほど頑健か？
• RQ5 t-SNEによる可視化により、特徴空間上で未知クラスのサンプルが既知クラスから明確に分離されているか？

主な発見

• 提案手法は、Office-31データセットで平均87.4%の最先端のHOSを達成し、より挑戦的なOffice-Homeデータセットでは67.0%のHOSを達成した。
• ハイパーパramータの変動に対しても性能が安定：特にOffice-Homeでは、$d_{PCA}$ および $d$ の広い範囲で最適なHOSが維持された。
• $n_r$ および $T$ を増加させることで、未知クラス認識（UNK）が向上するが、やや既知クラス認識（OS*）が低下する傾向にあり、実用的応用におけるトレードオフが可能である。
• 計算効率が高く、標準のラップトップでOffice-31タスクは約14秒、Office-Homeタスクは約10分で完了した。
• t-SNE可視化により、共通部分空間において既知クラスのソースおよびターゲットサンプルがよりよく整合していることが確認され、未知クラスのサンプルが既知クラスから明確に分離されている。
• HOSの調和平均に関してはハイパーパラメータにほとんど感度を示さない一方で、$n_r$ および $T$ を用いたOS*とUNKの間の実用的トレードオフが可能である。