[論文レビュー] Dynamic Weighted Learning for Unsupervised Domain Adaptation

Ni Xiao, Lei Zhang|arXiv (Cornell University)|Mar 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 11

ひとこと要約

本稿では、非教師ありドメイン適応のための新規手法である動的重み学習（DWL）を提案する。DWLは、ドメイン整合性とクラス識別性の度合いをリアルタイムでモニタリングし、それらに基づいて損失関数の重みを動的に調整することで、両者のバランスをとる。さらに、ドメインサイズの不均衡によるモデルバイアスを軽減するためのサンプル重み付けを導入し、複数のベンチマークで最先端の性能を達成し、顕著な精度向上を実現した。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to improve the classification performance on an unlabeled target domain by leveraging information from a fully labeled source domain. Recent approaches explore domain-invariant and class-discriminant representations to tackle this task. These methods, however, ignore the interaction between domain alignment learning and class discrimination learning. As a result, the missing or inadequate tradeoff between domain alignment and class discrimination are prone to the problem of negative transfer. In this paper, we propose Dynamic Weighted Learning (DWL) to avoid the discriminability vanishing problem caused by excessive alignment learning and domain misalignment problem caused by excessive discriminant learning. Technically, DWL dynamically weights the learning losses of alignment and discriminability by introducing the degree of alignment and discriminability. Besides, the problem of sample imbalance across domains is first considered in our work, and we solve the problem by weighing the samples to guarantee information balance across domains. Extensive experiments demonstrate that DWL has an excellent performance in several benchmark datasets.

研究の動機と目的

• 非教師ありドメイン適応において、ドメイン整合性とクラス識別性の間の不均衡が引き起こす負の転送（negative transfer）を解消すること。
• ソースドメインとターゲットドメインの間でサンプルサイズに大きな差があることによるモデルバイアスを軽減すること。
• さまざまなクロスドメインデータ環境に適応可能なスケーラブルで動的な重み付けメカニズムを構築すること。
• フィードバック駆動のバランス型最適化により、整合性と識別性を併せて最適化することで、特徴表現の質を向上させること。

提案手法

• DWLは、ドメイン整合性とクラス識別性のリアルタイムな度合いを反映するバランス要因τを用いて、ドメイン整合性とクラス識別性の損失重みを動的に調整する。
• 整合性の度合いは、ソースとターゲットの特徴間のMMD距離によって測定され、識別性は分類器重み行列の最大J(W)値によって評価される。
• サンプル重み付け機構を導入し、サンプル数に顕著な差があるドメイン間での最適化への影響をバランスさせる。
• トレーニング中に整合性と識別性の相対的進捗に基づき、動的バランス要因τを更新することで、適応的なトレードオフを実現する。
• 本手法は、既存のドメイン適応モデルと互換性があり、即挿し可能な設計である。
• フレームワークはトレーニング全体を通じて整合性と識別性をモニタリングし、これらのメトリクスをフィードバックしてリアルタイムに損失重みを調整する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありドメイン適応のトレーニング中に、ドメイン整合性とクラス識別性のトレードオフをどのように動的にバランスさせるか？
• RQ2 ソースドメインとターゲットドメイン間のデータ不均衡が、モデルの収束と性能に与える影響は何か？
• RQ3 整合性と識別性の度合いに対するリアルタイムフィードバック機構は、特徴表現の質を向上させ得るか？
• RQ4 多様なクロスドメイン環境下で、動的損失重み付けは、静的または固定重み付け戦略と比較してどのように優れるか？
• RQ5 サンプル重み付けは、ドメインサイズの不均衡によって生じるモデルバイアスをどの程度軽減できるか？

主な発見

• サンプル重み付けと動的バランスの両方を適用した場合、W→Aタスクで69.8%の精度を達成し、ベースラインより1.9ポイント高い。
• Digitsデータセットでは、動的重み付け機構（τ:1−τ）がM→UおよびU→Mタスクでそれぞれ97.3%および97.4%の精度を達成し、静的1:1および9:1の比率を上回った。
• USPS→MNISTでは、最初のエポックで動的バランス要因τが0.5未満に低下し、識別性への重み付けが強調されていることが示された。これは、小さなドメインシフトと初期段階での識別性の低さと整合的である。
• 混同行列の可視化から、DWLを用いることで、たとえば「犬→自転車」や「馬→馬」の誤分類が顕著に減少していることが確認された。
• アブレーションスタディの結果、サンプル重み付けと動的バランスの両方が不可欠であり、併用することで最も高い精度向上が得られた。
• DWLではMMD距離が減少し、J(W)値が増加しており、ドメイン整合性とクラス識別性の有効な共同最適化が行われていることが示された。