[論文レビュー] Subsidiary Prototype Alignment for Universal Domain Adaptation

Jogendra Nath Kundu, Suvaansh Bhambri+4 more|arXiv (Cornell University)|Oct 28, 2022

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、Universal Domain Adaptation (UniDA) のための新規フレームワークであるSubsidiary Prototype Alignment (SPA) を提案する。この手法は、Bag-of-Visual-Words (BoW) にインspiredされた表現に基づき、中間レベルの視覚的プリミティブ（ワードプロトタイプ）を学習することで、負の転送を軽減する。グリッドシャッフルされた画像クロップに基づく自己教師付き事前タスクを導入することで、プロトタイプの整合性を強化し、共有視覚的プリミティブと一致する閉じた集合のアライメントを可能にすることで、最小限の計算コストで複数のUniDAおよびオープンセットDAベンチマークで最先端の性能を達成する。

ABSTRACT

Universal Domain Adaptation (UniDA) deals with the problem of knowledge transfer between two datasets with domain-shift as well as category-shift. The goal is to categorize unlabeled target samples, either into one of the "known" categories or into a single "unknown" category. A major problem in UniDA is negative transfer, i.e. misalignment of "known" and "unknown" classes. To this end, we first uncover an intriguing tradeoff between negative-transfer-risk and domain-invariance exhibited at different layers of a deep network. It turns out we can strike a balance between these two metrics at a mid-level layer. Towards designing an effective framework based on this insight, we draw motivation from Bag-of-visual-Words (BoW). Word-prototypes in a BoW-like representation of a mid-level layer would represent lower-level visual primitives that are likely to be unaffected by the category-shift in the high-level features. We develop modifications that encourage learning of word-prototypes followed by word-histogram based classification. Following this, subsidiary prototype-space alignment (SPA) can be seen as a closed-set alignment problem, thereby avoiding negative transfer. We realize this with a novel word-histogram-related pretext task to enable closed-set SPA, operating in conjunction with goal task UniDA. We demonstrate the efficacy of our approach on top of existing UniDA techniques, yielding state-of-the-art performance across three standard UniDA and Open-Set DA object recognition benchmarks.

研究の動機と目的

• ドメインシフトとカテゴリシフトが共同でモデル性能を低下させるUniversal Domain Adaptation (UniDA) における負の転送を是正すること。
• ネットワーク層における負の転送リスク (NTR) とドメイン不変スコア (DIS) のトレードオフを、中間レベルの層を最適なバランス点として特定することで解消すること。
• 低レベルの視覚的プリミティブ（ワードプロトタイプ）が既知クラスと未知クラスの両方で共有されるような表現空間を設計し、頑健なアライメントを可能にすること。
• グリッドシャッフルされた画像クロップを用いた自己教師付き事前タスクを設計し、それを通じて補助的プロトタイプ空間の整合性（SPA）を強制することで、特徴学習をガイドすること。
• ラベル付きソースデータとラベルなしターゲットデータを用いたエンドツーエンド学習を可能にし、標準的なUniDAおよびオープンセットDAベンチマークで最先端の性能を達成しながら、計算コストを最小限に抑えること。

提案手法

• 中間レベルの特徴からワードプロトタイプを明示的に学習し、ワードヒストグラム出力を生成するためのアーキテクチャ変更を導入する。
• ワードヒストグラムレベルでの自己エントロピー損失を最小化することで、スパarsityを促進し、より良いクラス構造表現を実現する。
• 新規の事前タスクを提案：グリッドシャッフルされた画像に寄与する異なるインスタンスの数を分類するタスク。これは、ワードレベルの不整合を低減するための事前知識として機能する。
• この事前タスクを用いてワードプロトタイプの学習をガイドし、これらのプロトタイプと一致するターゲット特徴の閉じた集合アライメントを強制することで、負の転送を回避する。
• SPA損失を主なUniDA目的関数と組み合わせ、ラベル付きソースデータとラベルなしターゲットデータを用いたエンドツーエンド学習を可能にする。
• 既知・未知分類性能を評価するため、しきい値ベースのエントロピー分類器を用い、固定されたエントロピーしきい値 ρ = log(|Cs|)/2 を使用する。

実験結果

リサーチクエスチョン

• RQ1 ディープネットワークの中間レベルの層は、負の転送リスクとドメイン不変性の両者をバランスさせられ、UniDA適応の最適な位置として機能するか？
• RQ2 中間レベル特徴のBag-of-Visual-Words (BoW) に類似した表現は、UniDAにおける既知クラスと未知クラスの間の不整合を低減できるか？
• RQ3 グリッドシャッフルされた画像クロップに基づく自己教師付き事前タスクは、共有視覚的プリミティブ（ワードプロトタイプ）の学習を効果的にガイドできるか？
• RQ4 未知クラスが存在する状況下でも、閉じた集合アライメント戦略を用いた補助的プロトタイプ空間の整合性（SPA）は、既存のUniDA手法を上回る性能を達成できるか？
• RQ5 BoWにインスパイアされたアーキテクチャ変更を導入した際の計算コストはどの程度で、最先端の性能を維持できるか？

主な発見

• SPAは、Office-31を含む3つの標準的なUniDAおよびオープンセットDAベンチマークで最先端の性能を達成し、3回の実行平均で94.8%（OS）および95.2%（OS*）の精度を達成した。
• Office-31データセットでは、96.1%（A→W）、97.0%（A→D）、96.2%（D→W）、97.0%（W→D）、96.0%（D→A）、96.0%（W→A）の精度を達成し、シード間でのばらつきが非常に小さかった。
• 提案された事前タスクは、プロトタイプアライメントを顕著に改善し、ワードレベルの不整合を低減するとともに、ワードヒストグラム表現の頑健性を向上させた。
• 計算コストの増加は最小限に抑えられており、追加パラメータは約200万個、MACSは4.120Gから4.223Gにわずかに増加した。アーキテクチャ変更のみで得られる性能向上は無視できる程度であった。
• DCC（94.0% OS 対 DCC の94.0%）、RTN、DANN、ATI-λ、OSBP、STA、InheriTといった強力なベースラインを、すべての設定で上回った。
• アブレーションスタディの結果、アーキテクチャ変更とSPA事前タスクの組み合わせが不可欠であることが確認され、単体での変更では僅かな向上に留まった。