[論文レビュー] Learning Factorized Representations for Open-set Domain Adaptation

Mahsa Baktashmotlagh, Masoud Faraki+2 more|arXiv (Cornell University)|May 31, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 12

ひとこと要約

本論文は、グループスパarsityを用いて特徴を共有（既知のクラス）およびプライベート（未知のクラス）の部分空間に分解することで、未知のサンプルの同時検出と判別的共有表現の学習を可能にする、オープンセット・ドメイン適応のための新規フレームワークFRODAを提案する。標準ベンチマーク上での最先端手法を上回る性能を発揮するとともに、10倍以上高速である。

ABSTRACT

Domain adaptation for visual recognition has undergone great progress in the past few years. Nevertheless, most existing methods work in the so-called closed-set scenario, assuming that the classes depicted by the target images are exactly the same as those of the source domain. In this paper, we tackle the more challenging, yet more realistic case of open-set domain adaptation, where new, unknown classes can be present in the target data. While, in the unsupervised scenario, one cannot expect to be able to identify each specific new class, we aim to automatically detect which samples belong to these new classes and discard them from the recognition process. To this end, we rely on the intuition that the source and target samples depicting the known classes can be generated by a shared subspace, whereas the target samples from unknown classes come from a different, private subspace. We therefore introduce a framework that factorizes the data into shared and private parts, while encouraging the shared representation to be discriminative. Our experiments on standard benchmarks evidence that our approach significantly outperforms the state-of-the-art in open-set domain adaptation.

研究の動機と目的

• 閉集合ドメイン適応の制限、すなわちソースとターゲットのクラス集合が同一であると仮定する点を是正し、ターゲットドメインに未知のクラスが出現するより現実的なオープンセットのシナリオにおける認識を可能にする。
• ラベルを必要とせず、自動的に未知のターゲットサンプルを検出し破棄できる手法を開発し、実世界の展開におけるロバストネスを向上させる。
• 既知のクラスのための判別的共有表現と、未知のターゲットサンプルのためのプライベート部分空間を同時に学習することで、特徴の整合性と分類性能を向上させる。
• [5]の反復的手法と比較して、効率的な最適化フレームワークを設計することで、従来のオープンセット・ドメイン適応手法よりも推論および学習を高速化する。

提案手法

• 本手法は、ソースおよびターゲットの特徴を、既知のクラスのための共有部分空間と、ターゲットドメイン固有の未知のクラスのためのプライベート部分空間に分解する。
• 再構成係数にL1正則化を適用することでグループスパarsityを強制し、各ターゲットサンプルが1つの部分空間（共有またはプライベート）でのみ表現されることを保証することで、未知サンプルの検出を可能にする。
• 共有表現の判別性を向上させるために、フレームワーク内ですべての分類器を同時に最適化する。これにより、下流の認識精度が向上する。
• 共有部分空間およびプライベート部分空間、再構成係数、分類器の更新を交互に繰り返す最適化を、効率的な交替方向乗数法（ADMM）を用いて実行する。
• フレームワークはD-FRODAに拡張され、より柔軟な分類器と追加のバリエーション（例：最近傍または重み付き分類器を備えたもの）を統合し、ロバストネスの評価が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 一貫したフレームワークで、オープンセット・ドメイン適応において未知のターゲットサンプルの検出と、既知のクラスのための判別的共有表現の学習を同時に実現できるか？
• RQ2 特徴を共有部分空間とプライベート部分空間に分解することで、従来の反復的手法と比較して、オープンセット・ドメイン適応においてより優れた性能が得られるか？
• RQ3 提案手法は、[5]の最先端手法よりも高い精度とより速い収束速度を達成できるか？
• RQ4 正則化しきい値εのハイパーパrameterの選択に対して、本手法はどれほどロバストか？

主な発見

• BCISデータセットでは、FRODAはA→Dペアで平均88.0%の精度を達成し、以前のSOTA手法であるATI（79.8%）を顕著に上回った。
• Officeデータセットでは、FRODA-SVMはA→Dで88.0%、A→Wで78.7%、D→Wで94.6%の精度を達成し、6つのドメインペアすべてで以前のSOTAであるATIを上回った。
• 学習済み分類器を備えたD-FRODA-SVMバージョンは、A→Dで87.4%、D→Wで94.4%の精度を示し、ATIのD→Wでの94.4%と同等または上回る一貫性のある改善を示した。
• 正則化しきい値εに対して本手法はロバストであり、十分なしきい値に達すると結果が安定化し、さまざまな設定でも信頼性の高い性能を示した。
• FRODAは1回の実行で約2.5秒で実行可能であり、[5]手法の32秒と比較して10倍以上高速でありながらも、より高い精度を達成した。
• アブレーションスタディの結果、D-FRODAにおける学習済み分類器（W）の使用は、最近傍法やベースラインバージョンよりも性能を向上させたことが確認され、共同最適化の有効性が裏付けられた。