[論文レビュー] Optimal Transport for Multi-source Domain Adaptation under Target Shift

Ievgen Redko, Courty, Nicolas+2 more|Socio-Environmental Systems Modeling|Mar 13, 2018

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 15

ひとこと要約

本稿では、ターゲットシフト下でのマルチソースドメイン適応に対して、最適輸送に基づく新規手法JCPOTを提案する。同手法は、ラベルなしターゲットドメイン内のクラス割合を共同で推定するとともに、ドメイン間の整合性を学習する。合成データおよび実世界の衛星画像分類タスクにおいて、最先端手法を上回り、ベースラインモデル比最大で10%の精度向上を達成した。

ABSTRACT

In this paper, we propose to tackle the problem of reducing discrepancies between multiple domains referred to as multi-source domain adaptation and consider it under the target shift assumption: in all domains we aim to solve a classification problem with the same output classes, but with labels' proportions differing across them. This problem, generally ignored in the vast majority papers on domain adaptation papers, is nevertheless critical in real-world applications, and we theoretically show its impact on the adaptation success. To address this issue, we design a method based on optimal transport, a theory that has been successfully used to tackle adaptation problems in machine learning. Our method performs multi-source adaptation and target shift correction simultaneously by learning the class probabilities of the unlabeled target sample and the coupling allowing to align two (or more) probability distributions. Experiments on both synthetic and real-world data related to satellite image segmentation task show the superiority of the proposed method over the state-of-the-art.

研究の動機と目的

• マルチソースドメイン適応における重要な問題であるターゲットシフトに取り組むこと。特に、ソースドメインとターゲットドメインの間でクラス割合が不一致する状況を想定する。
• 最適輸送を用いて、未知のターゲットドメインクラス割合の推定と、ソース・ターゲットドメイン分布の整合化を同時に実現する手法を開発すること。
• 空間的ドメイン間でクラスの不均衡が一般的な実世界の応用、特にリモートセンシング分野における適応性能の向上を図ること。
• 最適輸送フレームワークを、事前知識のないターゲットクラス割合を想定する未教師付きターゲットシフト下のマルチソース設定に拡張すること。

提案手法

• JCPOTは、ラベルなしターゲットドメインのクラス割合と、ソース・ターゲット分布間の最適輸送カップリングを同時に最適化する。
• 適応問題をワッサーシュタイン重心の計算として定式化することで、複数のソースドメインと1つのターゲットドメイン間の整合化を可能にする。
• ラベル伝搬を用いて予測を精緻化し、特にリソースが限られたターゲット設定下での一般化性能を向上させる。
• 最適輸送におけるエントロピー正則化の計算効率を活用し、衛星画像のスーパープิกセルなど高次元データにもスケーラブルに適用可能である。
• ドメイン整合化と割合推定の両方をバランスさせる微分可能目的関数を用いて、エンドツーエンドで訓練する。
• ターゲットドメインのクラス分布に関する事前知識に依存せず、実世界の未教師付き適応に適した枠組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットシフト、特にソースとターゲットドメイン間のクラス割合の不一致が、標準的なドメイン適応手法の性能にどのように影響を与えるか？
• RQ2 最適輸送を、ターゲットシフト下で、クラス割合の推定とマルチソースドメインの整合化を同時に効果的に行うように拡張できるか？
• RQ3 クラス割合の共同推定とドメイン整合化が、別個または逐次的な手法と比較して、分類精度にどの程度向上効果をもたらすか？
• RQ4 JCPOTは、合成データおよび実世界のリモートセンシング応用において、最先端手法と比較してどの程度の性能を示すか？
• RQ5 本手法は、非常に高解像度の衛星画像からのスーパープイクセル特徴など、高次元データに対しても効果的にスケーリングできるか？

主な発見

• チューリッヒ・サマーサイズの衛星画像データセットにおいて、JCPOT-LPは「適応なし」ベースライン比で分類精度を10%向上させた。
• JCPOT-LPは「ターゲットのみ」ベースラインを上回り、適切に適応された複数のソースドメインを活用することの利点を示した。
• マルチソースの合成実験では、14番目の設定でF1スコア0.673を達成し、すべてのベースラインを上回った。
• ソースドメインの数が増加するにつれて一貫した性能向上を示し、スケーラビリティとロバストネスを確認した。
• 本手法の性能は、クラス割合の事前知識がある手法とほぼ同等に近く、未知のターゲット分布の推定が正確かつ信頼性があることを示した。
• 全評価設定において最先端の結果を達成し、JCPOT-LPが常に最高のF1スコアを報告した。