[論文レビュー] Learning from Extrinsic and Intrinsic Supervisions for Domain Generalization

Shujun Wang, Lequan Yu+3 more|arXiv (Cornell University)|Jul 18, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 14

ひとこと要約

本論文では、マルチタスク学習の枠組み内で、外的自己教師あり学習（モーメンタムによるメトリック学習を用いた画像関係性）と内的自己教師あり学習（パッチ順序予測）を統合するドメイン一般化フレームワーク、EISNetを提案する。K-ハードネガティブマイニングとモーメンタム更新メモリバンクを組み合わせることで、VLCSおよびPACSベンチマークで最先端の性能を達成するとともに、トレーニング時間を著しく短縮した。

ABSTRACT

The generalization capability of neural networks across domains is crucial for real-world applications. We argue that a generalized object recognition system should well understand the relationships among different images and also the images themselves at the same time. To this end, we present a new domain generalization framework that learns how to generalize across domains simultaneously from extrinsic relationship supervision and intrinsic self-supervision for images from multi-source domains. To be specific, we formulate our framework with feature embedding using a multi-task learning paradigm. Besides conducting the common supervised recognition task, we seamlessly integrate a momentum metric learning task and a self-supervised auxiliary task to collectively utilize the extrinsic supervision and intrinsic supervision. Also, we develop an effective momentum metric learning scheme with K-hard negative mining to boost the network to capture image relationship for domain generalization. We demonstrate the effectiveness of our approach on two standard object recognition benchmarks VLCS and PACS, and show that our methods achieve state-of-the-art performance.

研究の動機と目的

• ドメインシフトの影響により、未学習ドメインでテストされた際の深層ニューラルネットワークの一般化性能の低さという課題に対処すること。
• トレーニング中にターゲットドメインデータにアクセスできない状況でも、モデルのロバスト性を向上させること。
• 画像間の関係性と画像内自己教師あり学習を組み合わせることで、特徴の判別力と転移可能性を向上させること。
• さまざまなドメインにスケーラブルな、計算量が少なく効率的なドメイン一般化フレームワークの開発

提案手法

• EISNetは、教師あり分類、モーメンタムによるメトリック学習、および自己教師ありパッチ順序予測タスクを統合したマルチタスク学習フレームワークを採用する。
• モーメンタム更新エンコーダーは、トレーニングの安定化と特徴の一貫性向上を目的として、特徴埋め込みのメモリバンクを維持する。
• K-ハードネガティブマイニングを用いて、メモリバンクから情報量の多いハードトリプレットを選択し、メトリック学習におけるトリプレット損失を最適化する。
• 自己教師あり補助タスクは、画像パッチの相対的空間的順序を予測することで、モデルが構造的および文脈的不変性を学習するように促進する。
• モーメンタム更新係数δは、メモリバンクの一貫性を制御する。δ = 0.999が最適なパフォーマンスを示した。
• このフレームワークは、AlexNetを含むさまざまなバックボーンネットワークに容易に適応可能である。

実験結果

リサーチクエスチョン

• RQ1 画像間の関係性と画像内自己教師あり学習を統合することで、未学習ドメインにおける一般化性能が向上するか？
• RQ2 K-ハードネガティブマイニングを用いたモーメンタムベースのメトリック学習が、特徴の凝縮性と一般化性能に与える影響は何か？
• RQ3 メモリバンクのサイズとモーメンタム係数が、モデルパフォーマンスとトレーニング安定性に与える影響は何か？
• RQ4 画像内自己教師あり学習が画像間の関係性と補完的に作用し、特徴の判別力を向上させるか？
• RQ5 既存のドメイン一般化手法と比較して、本手法の効率性と精度はどのように異なるか？

主な発見

• EISNetは、VLCSおよびPACSベンチマークで最先端のパフォーマンスを達成し、既存のドメイン一般化手法を上回った。
• PACS Sketchデータセットでは、K-ハードネガティブセレクタを用いることで70.25%の正確性を達成し、セミハードセレクタと比較して2.70%の向上を示した。
• 最適なネガティブサンプル数Kは256であり、K=512に増加すると計算負荷の増大により性能が低下した。
• SOTAのMASFと比較して、トレーニング時間を91%以上短縮した。1つのTITAN XP GPUでわずか1.5時間で実行可能であった。
• t-SNE可視化により、EISNetがクラス間でより判別可能で明確に分離された特徴クラスタを学習していることが確認された。
• モーメンタム更新係数δ = 0.999が最良のパフォーマンスを示した。これは、メモリバンクの高速更新が特徴の一貫性を向上させることを示唆している。