[論文レビュー] Exploiting the Intrinsic Neighborhood Structure for Source-free Domain Adaptation

Shiqi Yang, Yaxing Wang+3 more|arXiv (Cornell University)|Oct 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 102

ひとこと要約

本論文はソースデータにアクセスできない状況で、ターゲット特徴の固有の局所近傍構造を活用し、相互近傍と拡張近傍を用いた親和性重み付けと自己正則化により、ソースデータへアクセスせずにターゲット予測を整合させるソースフリー領域適応に取り組む。

ABSTRACT

Domain adaptation (DA) aims to alleviate the domain shift between source domain and target domain. Most DA methods require access to the source data, but often that is not possible (e.g. due to data privacy or intellectual property). In this paper, we address the challenging source-free domain adaptation (SFDA) problem, where the source pretrained model is adapted to the target domain in the absence of source data. Our method is based on the observation that target data, which might no longer align with the source domain classifier, still forms clear clusters. We capture this intrinsic structure by defining local affinity of the target data, and encourage label consistency among data with high local affinity. We observe that higher affinity should be assigned to reciprocal neighbors, and propose a self regularization loss to decrease the negative impact of noisy neighbors. Furthermore, to aggregate information with more context, we consider expanded neighborhoods with small affinity values. In the experimental results we verify that the inherent structure of the target features is an important source of information for domain adaptation. We demonstrate that this local structure can be efficiently captured by considering the local neighbors, the reciprocal neighbors, and the expanded neighborhood. Finally, we achieve state-of-the-art performance on several 2D image and 3D point cloud recognition datasets. Code is available in https://github.com/Albert0147/SFDA_neighbors.

研究の動機と目的

• 適応中にソースデータへアクセスできないという実務的制約を踏まえてSFDAを動機づける。
• ドメインシフト下でもターゲット特徴が意味のあるクラスタを形成し、ラベリングの整合性に活用できると仮定する。
• 相互最近傍を利用してより強い監視信号を割り当て、ノイズのある近傍の影響を低減する。
• 拡張近傍を取り入れてノイズを抑制しつつ、より広い局所文脈を捉える。
• 2D画像および3D点群データセットの複数において最先端の性能を示す。

提案手法

• 相互最近傍(RNN)と非相互近傍(nRNN)を用いてターゲット特徴の親和性を定義する。
• メモリバンクを使ってターゲット特徴とその予測スコアを保存し、近傍取得を効率化する。
• ラベルの一致を近傍の親和性で加重して促す近傍ベースの損失（L_N）を定式化する。
• ノイズのある近傍の影響を緩和する自己正則化項を導入する（L_self）。
• 拡張近傍（L_E）を、近傍の近傍をより小さな親和性で考慮して導入し、広い文脈を捉える。
• 親和性重み付けされた近傍監督と多様性（クラスタリング）損失を組み合わせて退化解を防ぐ（L_div）。

実験結果

リサーチクエスチョン

• RQ1 ソースラベルを持たないターゲットデータは、ターゲット特徴空間における局所近傍構造を活用することで効果的に整列できるか？
• RQ2 相互最近傍はSFDAにおいて非相互近傍よりもより信頼できる監視を提供するか？
• RQ3 近傍を拡張する（近傍の近傍）ことで、親和性加重で抑制されつつ適応が改善されるか？
• RQ4 自己正則化と予測の多様性は、近傍ベースのSFDAの安定性と性能にどのように影響するか？
• RQ5 標準的な2Dおよび3D SFDAベンチマークにおけるNRCの経験的性能は、従来手法と比べてどうか？

主な発見

手法	SF	A→D	A→W	D→W	W→D	D→A	W→A	平均
RSDA-MSTN	✗	95.8	95.7	99.2	100.0	76.7	77.1	90.8
SHOT	✓	94.0	90.1	98.4	99.9	74.7	74.3	88.6
3C-GAN	✓	92.7	93.7	98.5	99.8	75.3	77.8	89.6
NRC	✓	96.0	90.8	99.0	100.0	75.3	75.0	89.4

• Office-31、Office-Home、VisDA、PointDA-10を含む複数のSFDAベンチマークで競合的または最先端の性能を達成。
• 相互最近傍は非相互近傍よりも強い監視信号をもたらし、ターゲット特徴のクラスタリングを改善。
• 拡張近傍は追加の文脈を提供し、親和性重みによる組み合わせ時に結果を向上させる；単にKを拡大するだけでは性能が低下することがある。
• 自己正則化はノイズの多い近傍の負の影響を低減し、訓練を安定化させる。
• アブレーション研究では、提案されたN、E、A、L_divの NRC コンポーネントがデータセット全体で精度向上に寄与することを示す。