[論文レビュー] MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation

Guoqiang Wei, Cuiling Lan+2 more|arXiv (Cornell University)|Mar 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 66被引用数 6

ひとこと要約

MetaAlign は、教師なしドメイン適応 (UDA) におけるドメインアライメントと分類の目的関数の最適化を調整するメタ最適化戦略を提案する。トレーニング中に両者の勾配が一致するように保証する。ドメインアライメントをメタトレインタスク、分類をメタテストタスクとして扱うことで、MetaAlign は勾配の一貫性を最大化し、特徴の識別性を向上させ、画像分類、オブジェクト検出、ドメイン一般化のベンチマークで最先端の性能を達成する。

ABSTRACT

For unsupervised domain adaptation (UDA), to alleviate the effect of domain shift, many approaches align the source and target domains in the feature space by adversarial learning or by explicitly aligning their statistics. However, the optimization objective of such domain alignment is generally not coordinated with that of the object classification task itself such that their descent directions for optimization may be inconsistent. This will reduce the effectiveness of domain alignment in improving the performance of UDA. In this paper, we aim to study and alleviate the optimization inconsistency problem between the domain alignment and classification tasks. We address this by proposing an effective meta-optimization based strategy dubbed MetaAlign, where we treat the domain alignment objective and the classification objective as the meta-train and meta-test tasks in a meta-learning scheme. MetaAlign encourages both tasks to be optimized in a coordinated way, which maximizes the inner product of the gradients of the two tasks during training. Experimental results demonstrate the effectiveness of our proposed method on top of various alignment-based baseline approaches, for tasks of object classification and object detection. MetaAlign helps achieve the state-of-the-art performance.

研究の動機と目的

• 教師なしドメイン適応 (UDA) におけるドメインアライメントと分類タスク間の最適化不整合を解消すること。両者の勾配が衝突することで性能が低下するためである。
• ドメインアライメントと分類の目的関数の最適化軌道を一致させる汎用的でメタラーニングに基づく戦略を開発すること。
• ドメインアライメントを維持したまま特徴の識別性を向上させ、未観測のターゲットドメインへの一般化性能を強化すること。
• 画像分類、オブジェクト検出、ドメイン一般化を含む多様なビジョンタスクにおいて、本手法の有効性を検証すること。

提案手法

• MetaAlign はメタラーニングの枠組み内で、ドメインアライメントをメタトレインタスク、分類をメタテストタスクとして定式化する。
• 両タスクの勾配の内積を最大化することで、共有ネットワークパラメータを最適化し、最適化の協調を促進する。
• 既存のドメインアライメントベースライン（DANN、GVB、SW-DA など）にアーキテクチャの変更なしにプラグインとして適用可能である。
• 理論的分析により、この勾配内積最大化が両タスクの最適化方向を一致させることを示している。
• 敵対的ドメインアライメントおよび統計的分布アライメント手法の両方と互換性がある汎用的な手法である。
• 特徴の可視化と t-SNE 分析により、MetaAlign が識別的でオブジェクト関連の領域に焦点を当てたアライメントを促進していることを検証した。

Figure 1: Illustration of our MetaAlign strategy which aims to encourage the optimization consistency between the domain alignment task and the object classification task for efficient UDA. (a) Previous approaches directly combine the optimization objective functions of the two tasks together ( i .

実験結果

リサーチクエスチョン

• RQ1 ドメインアライメントと分類タスク間の最適化不整合は、UDA のパフォーマンスにどのように影響するか？
• RQ2 メタ最適化を用いてドメインアライメントと分類の目的関数のトレーニングダイナミクスを調整できるか？
• RQ3 ドメインアライメントと分類の間で勾配の一貫性を強制することで、UDA における特徴の識別性と一般化性能が向上するか？
• RQ4 MetaAlign は画像分類、オブジェクト検出、ドメイン一般化を含むさまざまなビジョンタスクに効果的に適用可能か？

主な発見

• VOC→Watercolor2k オブジェクト検出 UDA ベンチマークにおいて、SW-DA ベースラインの mAP が 1.9%（3.5%）向上した。
• Office-Home および Office31 データセットにおいて、GVB に MetaAlign を適用した結果、元の GVB や先行の SOTA 手法を上回る最先端の性能を達成した。
• PACS におけるドメイン一般化タスクで、DANNPE+MetaAlign は DANNPE よりも 1.2% 高い精度を達成し、特に挑戦的な Sketch ドメインで過去最高を更新した。
• Grad-CAM 視覚化により、MetaAlign がオブジェクト関連領域にドメインアライメントを集中させていることが確認され、分類に向けたアライメントの関連性が向上した。
• t-SNE 視覚化により、MetaAlign は特徴空間により緊密で分離されたクラスタを生成しており、ドメインアライメントと特徴のコンパクト性が向上していることが示された。
• 本手法は複数の UDA ベースラインおよびタスクに有効であり、優れた一般化性能とプラグイン互換性を示した。

Figure 2: Two representative domain alignment based UDA frameworks. (a) DANN. (b) MMD.