[論文レビュー] Domain Generalization via Model-Agnostic Learning of Semantic Features

Qi Dou, Daniel C. Castro+2 more|arXiv (Cornell University)|Oct 29, 2019

Domain Adaptation and Few-Shot Learning被引用数 428

ひとこと要約

MASF はエピソディックなモデル非依存学習を用い、グローバルなクラス整合性と局所的なメトリックベースのクラスタリングを組み合わせて、見たことのないドメインへ一般化する意味表現空間を学習し、VLCS と PACS で最先端の結果を達成するとともに、医用画像分割の改善を実現します。

ABSTRACT

Generalization capability to unseen domains is crucial for machine learning models when deploying to real-world conditions. We investigate the challenging problem of domain generalization, i.e., training a model on multi-domain source data such that it can directly generalize to target domains with unknown statistics. We adopt a model-agnostic learning paradigm with gradient-based meta-train and meta-test procedures to expose the optimization to domain shift. Further, we introduce two complementary losses which explicitly regularize the semantic structure of the feature space. Globally, we align a derived soft confusion matrix to preserve general knowledge about inter-class relationships. Locally, we promote domain-independent class-specific cohesion and separation of sample features with a metric-learning component. The effectiveness of our method is demonstrated with new state-of-the-art results on two common object recognition benchmarks. Our method also shows consistent improvement on a medical image segmentation task.

研究の動機と目的

• テストドメインが未知の統計を持ち、訓練時にターゲットデータが利用できない場合のドメイン一般化を動機づける。
• 複数のソースドメインにわたってドメインシフトに頑健な意味的に意味のある特徴表現を学習する。
• 特徴空間を形作るグローバルおよびローカルの正則化を提案する—クラス間関係のグローバルな整合性とドメイン非依存のクラスクラスタリングの局所性。
• エピソディック訓練を伴うモデル非依存メタ学習を活用して、見たことのないドメインへの一般化を促す。

提案手法

• ソースドメインをメタ学習用トレーニングとメタテストに分割してドメインシフトを模倣するエピソディック訓練を採用する。
• メタトレーニングとメタテストのドメイン間でソフト混同行列を対称KLダイバージェンスを用いて一致させるグローバルなクラス整合性損失を導入する。
• コントラストまたはトリプレット損失を用いた対照的または埋め込みネットワークによる局所的なサンプルクラスタリング損失を導入し、ドメイン非依存のクラス結束と分離を促進する。
• 特徴抽出器とタスクネットをタスク損失＋メタ損失で更新する；埋め込みネットワークを局所損失で更新してクラスタリングを強制する。
• クラス別の平均特徴ベクトルを用いて各クラスのソフトラベルを形成し、温度制御付きソフトマックスによりソフト混同行列を計算して跨ドメインの意味的整合性を導く。
• 局所クラスタリングのための2つの具体的なメトリック学習損失を提供する：コントラスト損失（d_phi）と、半-hardマイニングを用いたトリプレット損失。

実験結果

リサーチクエスチョン

• RQ1 訓練中にターゲットデータへアクセスできない状態で、複数のソースドメイン上でどのようにモデルを訓練すれば未見ドメインへ一般化できるのか？
• RQ2 意味的構造を明示的に正則化することで、ドメイン一般化は従来のタスク中心の損失を超えて改善できるのか？
• RQ3 グローバルなクラス間の関係整合性と局所的なサンプルクラスタリングを組み合わせると、ドメインシフト下でより良い一般化を得られるのか？
• RQ4 モデル非依存のエピソディック学習フレームワークは、自然画像認識のベンチマークと医用画像分割タスクの両方で効果的か？

主な発見

• MASF は VLCS で平均精度を最先端に達成し、ターゲットドメイン間で 72.19 から 74.11 へ改善した。
• PACS では MASF が平均精度をベースラインから 3.51 ポイント向上させ、Sketch ターゲットドメインで顕著な改善を示した。
• アブレーション研究により、グローバルなクラス整合性と局所的クラスタリングの双方が性能に寄与し、それらをエピソディック訓練と組み合わせると最良の結果となることを確認した。
• 深層残差アーキテクチャ（ResNet-18/50）も MASF の恩恵を受け、異なるネットワークバックボーンに対して頑健性を示した。
• 医療用脳MRI分割では、MASF は DeepAll より Dice スコアを改善し、特に新しい臨床サイト（Set-D）へ一般化する場合に改善が見られ、同定分析によりクラス内結束がより強固であることが示された。