[論文レビュー] Deep Domain-Adversarial Image Generation for Domain Generalisation

Kaiyang Zhou, Yongxin Yang+2 more|arXiv (Cornell University)|Mar 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 7

ひとこと要約

本稿では、ドメイン変換ネットワーク（DoTNet）を用いて未観測ドメインのデータを合成することでモデルのロバスト性を向上させる、新しいドメイン一般化手法であるDeep Domain-Adversarial Image Generation（DDAIG）を提案する。ドメイン分類器を欺くがクラスラベルを保持するドメインシフト画像を生成するように、DoTNetを敵対的に訓練することで、ラベル分類器の一般化性能が向上し、PACS、Office-Home、Digits-DGベンチマークにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Machine learning models typically suffer from the domain shift problem when trained on a source dataset and evaluated on a target dataset of different distribution. To overcome this problem, domain generalisation (DG) methods aim to leverage data from multiple source domains so that a trained model can generalise to unseen domains. In this paper, we propose a novel DG approach based on \emph{Deep Domain-Adversarial Image Generation} (DDAIG). Specifically, DDAIG consists of three components, namely a label classifier, a domain classifier and a domain transformation network (DoTNet). The goal for DoTNet is to map the source training data to unseen domains. This is achieved by having a learning objective formulated to ensure that the generated data can be correctly classified by the label classifier while fooling the domain classifier. By augmenting the source training data with the generated unseen domain data, we can make the label classifier more robust to unknown domain changes. Extensive experiments on four DG datasets demonstrate the effectiveness of our approach.

研究の動機と目的

• トレーニングデータとテストデータの間で分布がずれることにより、モデルが未観測ドメインで失敗するドメインシフト問題に対処すること。
• ターゲットドメインデータを必要とするか、ソースドメインを超えて一般化に失敗する、非教師付きドメイン適応およびドメインアライメント手法の限界を克服すること。
• ラベル付きターゲットデータに依存せずに、現実的で未観測ドメインの画像を合成するデータ拡張戦略を開発すること。
• ソースドメインと合成された未観測ドメインデータの両方で学習することで、モデルのロバスト性を向上させること。

提案手法

• DDAIGは、ラベル分類器、ドメイン分類器、ドメイン変換ネットワーク（DoTNet）の3つの深層ニューラルネットワークを統合した共同学習フレームワークを採用する。
• DoTNetは、ソース画像にインスタンス固有の摂動を適用することでドメインシフト画像を生成し、ドメイン分類器を欺くが、ラベル分類器による正しい分類を維持することを目的とする。
• 本手法はミニマックス目的関数を用いる：元のデータおよび変換済みデータにおけるラベル分類損失を最小化すると同時に、変換済みデータにおけるドメイン分類損失を最大化する。
• 幾何的変換（回転など）に対応するため、空間変換ネットワーク（STN）をフレームワークに統合し、構造的ドメインシフトを再現できるように拡張する。
• 勾配がDoTNetを介して逆伝播されるエンドツーエンドの学習により、意味的でスタイルおよび構造を保全する摂動を学習する。
• 特徴レベルのドメインアライメント手法とは異なり、ピクセルレベルで直接操作するため、解釈可能性に優れる。

実験結果

リサーチクエスチョン

• RQ1 未観測ドメインからの合成データ生成は、ドメイン一般化タスクにおけるモデルの一般化性能を向上させるか？
• RQ2 敵対的目的関数で訓練されたドメイン変換ネットワークは、現実的なドメインシフトを効果的にシミュレートできるか？
• RQ3 本手法は、ソースドメインに存在しない幾何的ドメインシフト（例：回転）に対しても一般化可能か？
• RQ4 多様なベンチマークにおいて、DDAIGは最先端のドメイン一般化手法と比較してどの程度の性能を示すか？
• RQ5 ソースデータと合成された未観測ドメインデータを組み合わせることで、単に合成データのみで学習する場合と比較して、モデルのロバスト性はどの程度向上するか？

主な発見

• DDAIGは、PACS、Office-Home、Digits-DGベンチマークにおいて、すべての最先端のドメイン一般化手法を上回り、未観測ドメインへの一般化性能が優れていることが示された。
• 回転させたMNISTをターゲットとするDigits-DGベンチマークでは、STNを搭載したDDAIGが、特に40°および50°回転時において、ベースライン手法と比較して性能低下を顕著に低減した。
• 合成された未観測ドメインデータのみで学習した場合、性能向上が得られなかったため、ソースデータと合成データの組み合わせが主な利点をもたらしていることが確認された。
• 可視化結果から、生成された画像がドメイン空間の従来未埋めの領域を占拠していることが示され、未観測ドメイン多様体の有効な探索が行われていることが裏付けられた。
• DoTNetが学習する摂動はインスタンス固有であり、意味的に意味のあるものであるのに対し、敵対的攻撃手法のノイズに近い摂動とは異なり、現実性とドメインシフトのシミュレーション性を高めている。
• 本手法は標準的なDGタスクにとどまらず、ラベル空間が不一致する異種の人物再識別タスクにおいても強力な性能を発揮した。