[論文レビュー] Domain Generalization via Semi-supervised Meta Learning

Hossein Sharifi-Noghabi, Hossein Asghari+2 more|arXiv (Cornell University)|Sep 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 6

ひとこと要約

本稿では、分布シフトを伴う複数のソースドメインにおけるラベル付きおよびラベルなしデータを活用する、最初のドメイン一般化手法であるDGSMLを提案する。エントロピーに基づく疑似ラベル付けと、新しい不一致損失およびアライメント損失を組み合わせることで、ラベル付きデータが少ないがラベルなしデータが豊富な状況において、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

The goal of domain generalization is to learn from multiple source domains to generalize to unseen target domains under distribution discrepancy. Current state-of-the-art methods in this area are fully supervised, but for many real-world problems it is hardly possible to obtain enough labeled samples. In this paper, we propose the first method of domain generalization to leverage unlabeled samples, combining of meta learning's episodic training and semi-supervised learning, called DGSML. DGSML employs an entropy-based pseudo-labeling approach to assign labels to unlabeled samples and then utilizes a novel discrepancy loss to ensure that class centroids before and after labeling unlabeled samples are close to each other. To learn a domain-invariant representation, it also utilizes a novel alignment loss to ensure that the distance between pairs of class centroids, computed after adding the unlabeled samples, is preserved across different domains. DGSML is trained by a meta learning approach to mimic the distribution shift between the input source domains and unseen target domains. Experimental results on benchmark datasets indicate that DGSML outperforms state-of-the-art domain generalization and semi-supervised learning methods.

研究の動機と目的

• ラベル付きデータが少なく、ラベルなしデータが豊富な現実世界のシナリオにおけるドメイン一般化の課題に対処すること。
• 既存のドメイン一般化手法が完全に教師あり学習に依存し、ラベルなしサンプルを無視するという限界を克服すること。
• ラベル付きおよびラベルなしデータを用いてドメイン不変表現を学習することで、未観測のターゲットドメインに一般化できる手法を開発すること。
• 疑似ラベル付けと重心ベースの一貫性という半教師あり学習技術を、メタラーニングフレームワークに統合し、トレーニング中に分布シフトを模擬すること。
• 疑似ラベル付け前のクラス重心と後のクラス重心の不一致を最小化し、ドメイン間でクラス重心間の距離を保持することで、頑健性と一般化性能を確保すること。

提案手法

• 各エピソードにおいてソースドメインをメタトレインおよびメタテストセットに分割することで、エピソードベースのメタラーニングを用い、ソースドメインと未観測のターゲットドメイン間の分布シフトを模擬する。
• エントロピーに基づく疑似ラベル付けを適用し、高信頼度の予測結果をラベルなしサンプルに割り当てることで、半教師あり学習を実現する。
• ラベルなしサンプルの疑似ラベル付けの前後で計算されるクラス重心（平均）の類似性を強制する不一致損失を導入する。
• 疑似ラベル付きサンプルを統合した後、異なるドメイン間でクラス重心間の距離ベクトルを保持するアライメント損失を設計する。
• タスク固有の交差エントロピー損失、半教師あり不一致損失、ドメインアライメント損失の3つの損失を組み合わせてモデルを最適化する。
• 2次勾配を用いたメタラーニング設定で、エンドツーエンドにモデルをトレーニングすることで、未観測ドメインへの一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 複数のソースドメインにおける分布シフトを伴うラベル付きおよびラベルなしサンプルを効果的に活用できるドメイン一般化手法は存在するか？
• RQ2 半教師あり学習とメタラーニングを組み合わせることで、完全に教師ありのドメイン一般化と比較して、未観測ターゲットドメインへの一般化性能がどのように向上するか？
• RQ3 ラベル付きデータが限られ、ラベルなしデータが豊富な状況で、疑似ラベル付けは性能をどの程度向上させるか？
• RQ4 重心の一貫性とドメイン間距離の保持が、ドメイン不変表現学習をどのように強化するか？
• RQ5 ラベルなしデータの割合が異なる条件下で、提案手法は最先端の手法と比較して、正確性においてどの程度優れているか？

主な発見

• DGSMLは、全平均ベンチマークで72.98%のテスト精度を達成し、次に優れた手法（MASF：70.09%）を顕著に上回った。
• 50%のラベル付きデータを有するSketchドメインでは、DGSMLは95.08%の精度を達成し、最良のベースライン（94.12%）を上回った。
• 特徴抽出器にResNet-18を用いた場合、DGSMLはすべてのラベルなしデータ率において強力な性能を維持し、頑健性を示した。
• AlexNetを用い、ラベル付きデータの割合が低い（例：50%）状況でも、DGSMLは72.03%の精度を達成し、すべてのベースラインを上回った。
• 特にラベル付きデータが少ない状況において、最先端のドメイン一般化および半教師ありメタラーニング手法と比較して一貫した改善を示した。
• DGSMLは、2次勾配を用いても、1台のGeForce GTX 1080 GPUで4時間未満でトレーニングが可能であり、計算上の実行可能性を示した。