[論文レビュー] Deep Adversarial Attention Alignment for Unsupervised Domain Adaptation: the Benefit of Target Expectation Maximization

Guoliang Kang, Liang Zheng+2 more|arXiv (Cornell University)|Jan 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 15

ひとこと要約

本論文は、CycleGANを用いた画像変換により、すべての畳み込み層におけるソースおよびターゲットネットワークの注目マップを統合的にアライメントする、新しい非教師ありドメイン適応手法を提案する。同時に、カテゴリ分布推定を用いて疑似ラベルを精緻化する修正された期待値最大化（EM）フレームワークを採用する。本手法は、特徴レベルにおけるドメインシフトを低減し、疑似ラベル化における誤り蓄積を軽減することで、Office-31データセットにおいて最先端手法より+2.6%の精度向上を達成した。

ABSTRACT

In this paper, we make two contributions to unsupervised domain adaptation (UDA) using the convolutional neural network (CNN). First, our approach transfers knowledge in all the convolutional layers through attention alignment. Most previous methods align high-level representations, e.g., activations of the fully connected (FC) layers. In these methods, however, the convolutional layers which underpin critical low-level domain knowledge cannot be updated directly towards reducing domain discrepancy. Specifically, we assume that the discriminative regions in an image are relatively invariant to image style changes. Based on this assumption, we propose an attention alignment scheme on all the target convolutional layers to uncover the knowledge shared by the source domain. Second, we estimate the posterior label distribution of the unlabeled data for target network training. Previous methods, which iteratively update the pseudo labels by the target network and refine the target network by the updated pseudo labels, are vulnerable to label estimation errors. Instead, our approach uses category distribution to calculate the cross-entropy loss for training, thereby ameliorating the error accumulation of the estimated labels. The two contributions allow our approach to outperform the state-of-the-art methods by +2.6% on the Office-31 dataset.

研究の動機と目的

• 高レベル特徴だけでなく、すべての畳み込み層における注目マップのアライメントを通じて、非教師ありドメイン適応におけるドメインシフトを是正すること。
• 反復的ラベル精緻化に依存するのではなく、ラベルなしターゲットデータの事後分布をモデル化することにより、疑似ラベル化における誤り蓄積を低減すること。
• CycleGANを活用してドメイン間の画像対応関係を確立し、注目アライメントに活用することで、ドメイン適応性能を向上させること。
• 畳み込み層レベルでの注目アライメントと分布ベースのラベル推定が、ターゲットドメインにおけるモデル一般化性能を共同で向上させることを実証すること。

提案手法

• 実際のソース画像をターゲットドメインに変換するためのCycleGANを用い、逆方向の変換も行い、ドメイン間の画像対応関係を確立する。
• 各畳み込み層におけるソースおよびターゲットネットワークの注目マップ間のL2距離損失を適用し、ドメイン差を最小化する。
• ソースデータには正例ラベルを、ターゲットデータにはカテゴリ分布を用いて、両方のドメインからの実画像および合成画像を用いてターゲットネットワークを訓練する。
• 修正された期待値最大化手順を実装する：Eステップでは、モデルがラベルなしターゲットデータのカテゴリ分布を推定する。Mステップでは、これらの分布に基づく交差エントロピー損失を用いてネットワークを更新する。
• 注目アライメント損失と分類損失を同時に最適化することで、敵対的学習と注目アライメントを統合する。
• 注目アライメントをすべての畳み込み層に段階的に適用する多段階トレーニング戦略を採用し、学習の安定化と特徴不変性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 高レベル特徴だけでなく、すべての畳み込み層における注目マップのアライメントが、ドメイン適応性能の向上に寄与するか？
• RQ2 期待値最大化を用いてラベルなしターゲットデータの事後分布をモデル化することで、反復的疑似ラベル化に比べて誤り蓄積が低減するか？
• RQ3 CycleGANを用いた画像変換は、注目アライメントに意味のあるドメイン間対応関係を確立するのに効果的か？
• RQ4 注目アライメントと分布ベースのラベル精緻化の相対的寄与度は、適応精度向上にどの程度寄与するか？
• RQ5 MMDや他の注目差異測定法と比較して、本手法はドメイン不変表現をどの程度的確に捉えられるか？

主な発見

• 提案手法は、Office-31データセットにおいて最先端手法を+2.6%上回る精度を達成し、優れたドメイン適応性能を示した。
• 敵対的注目アライメントにより、ハードな転送タスク（D → A）で+2.0%、W → A で+1.7%の性能向上が得られ、ドメインシフトに対する強力な正則化効果が確認された。
• 注目アライメント損失は、ソースとターゲットの注目マップ間の差を顕著に低減した。可視化結果から、ラベル付きターゲットデータでの学習のみに比べ、より良好なアライメントが実現されていることが示された。
• L1、MMD、JMMDと比較して、L2距離が注目差異測定法として優れており、構造的情報をよりよく保持し、ノイズ誘発の劣化を回避している。
• アブレーションスタディの結果、注目アライメントとEMベースのラベル精緻化の両方が顕著な寄与を示しており、特にノイズフィルタリングが最も大きな影響を及ぼした。
• 両方のドメインからの実画像および合成画像を用いて学習したモデルは、実画像および合成ターゲットデータのみで学習したモデルよりも高い精度を達成しており、ソースドメインからの知識移転の有効性が裏付けられた。