[論文レビュー] Attending to Discriminative Certainty for Domain Adaptation

Vinod K Kurmi, Shanu Kumar+1 more|arXiv (Cornell University)|Jun 8, 2019

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 8

ひとこと要約

本論文は、識別器の確率的信頼性を活用して、分類器の訓練中に適応可能な画像領域（特に前面の物体）を特定・注目する、新しいドメイン適応手法を提案する。不確実性推定（アレアトリックおよび予測的）を用いて注目度を重み付けすることで、ターゲットドメインにおける一般化性能が向上し、従来手法と比較してOffice-Homeで最大7.4%の精度向上を達成する。

ABSTRACT

In this paper, we aim to solve for unsupervised domain adaptation of classifiers where we have access to label information for the source domain while these are not available for a target domain. While various methods have been proposed for solving these including adversarial discriminator based methods, most approaches have focused on the entire image based domain adaptation. In an image, there would be regions that can be adapted better, for instance, the foreground object may be similar in nature. To obtain such regions, we propose methods that consider the probabilistic certainty estimate of various regions and specify focus on these during classification for adaptation. We observe that just by incorporating the probabilistic certainty of the discriminator while training the classifier, we are able to obtain state of the art results on various datasets as compared against all the recent methods. We provide a thorough empirical analysis of the method by providing ablation analysis, statistical significance test, and visualization of the attention maps and t-SNE embeddings. These evaluations convincingly demonstrate the effectiveness of the proposed approach.

研究の動機と目的

• 教師ありドメイン適応におけるドメインシフトを解消すること。ここでは、ソースラベルは利用可能だが、ターゲットラベルは非可用である。
• 全体画像のドメイン適応に起因する制限を克服し、適応がより容易な領域を同定すること。
• 識別器が最も確信を持っている領域に注目することで、分類器のターゲットドメインにおける一般化性能を向上させること。
• 推論時に変更を行わず、確率的不確実性を用いて注目度を誘導する原理的で整合性のある手法を提供すること。
• 包括的なアブレーション、統計的検定、可視化を通じて、優れた性能を実証すること。

提案手法

• 訓練中に画像領域全体にわたってアレアトリックおよび予測的不確実性を推定する確率的識別器を用いる。
• 識別器の不確実性推定値から、識別器が最も自信を持っている領域を強調する、信頼性に基づく注目度重みを構築する。
• これらの信頼性重みを分類器の訓練に適用し、特に前面の物体のような適応可能な領域に注目を集中させる。
• 識別器が特定した高信頼性領域を強調する重み付き交差エントロピー損失を用いて分類器を訓練する。
• 信頼性マップは訓練時のみに使用する。推論時には注目度重みは一切使用しない。
• 勾配反転を用いた特徴統合を実施する標準的な敵対的ドメイン適応フレームワークに本手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 識別器から得られる確率的不確実性推定値は、ドメイン適応に適した画像領域を特定するのを支援するか？
• RQ2 識別器の訓練を高信頼性領域に集中させることで、未観測のターゲットドメインにおける一般化性能が向上するか？
• RQ3 本手法は、最先端のドメイン適応アプローチと比較して、精度および頑健性の面で優れているか？
• RQ4 識別器の信頼性に基づく注目マップは、分類器の真のクラス活性化パターンとどの程度一致するか？
• RQ5 本手法による性能向上は、ベンチマークデータセット全体で統計的に有意であるか？

主な発見

• 本手法は、Office-Homeデータセットにおいて、最先端の手法と比較して最大7.4%の高い精度を達成した。
• 識別器の信頼性マップは訓練過程で変化し、背景領域から前面領域へ、その後非適応可能な領域へとシフトする。これは動的で適応可能な学習の兆候である。
• t-SNE可視化では、本手法の特徴量が、ベースライン手法と比較してはっきりと分離された、明確なクラスクラスタ（31クラスに対して31クラスタ）を生成した。
• 本手法の特徴量を用いることで、A-distance指標が顕著に低下し、ResNetおよびGRLベースラインと比較してドメイン差が小さくなった。
• 統計的有意性検定（Nemenyi検定）により、0.05の信頼水準で本手法の性能がGRLを有意に上回ることが確認された。
• 推論時の分類器の注目マップは、訓練時に使用した信頼性マップとよく一致しており、本手法の整合性および解釈可能性が裏付けられた。