[論文レビュー] Zero-shot Domain Adaptation Based on Attribute Information

Masato Ishii, Takashi Takenouchi+1 more|arXiv (Cornell University)|Oct 15, 2019

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本論文は、未知のターゲットドメインへの一般化を向上させるために、既知の属性プライアを活用してソースデータを再重み付けするゼロショットドメイン適応手法を提案する。ターゲットデータを一切必要とせず、ベースラインの属性に基づく再重み付けよりもサンプルごとの転送可能性推定を理論的に改善する。合成データおよびベンチマークデータセットにおいて優れた性能を達成する。

ABSTRACT

In this paper, we propose a novel domain adaptation method that can be applied without target data. We consider the situation where domain shift is caused by a prior change of a specific factor and assume that we know how the prior changes between source and target domains. We call this factor an attribute, and reformulate the domain adaptation problem to utilize the attribute prior instead of target data. In our method, the source data are reweighted with the sample-wise weight estimated by the attribute prior and the data themselves so that they are useful in the target domain. We theoretically reveal that our method provides more precise estimation of sample-wise transferability than a straightforward attribute-based reweighting approach. Experimental results with both toy datasets and benchmark datasets show that our method can perform well, though it does not use any target data.

研究の動機と目的

• ターゲットデータが一切存在しないゼロショットドメイン適応におけるドメインシフトの問題に対処すること。
• ソースドメインとターゲットドメインの間で体系的に変化する要因（属性プライア）を活用してモデルの適応をガイドすること。
• ターゲットドメインへの転送可能性を向上させるためのソースデータの再重み付け戦略を開発すること。
• 提案手法の再重み付け法が単純な属性ベースの手法よりも優れている理論的根拠を提示すること。
• ゼロショット設定下で、トゥイとベンチマークデータセットを用いて手法の実証的妥当性を検証すること。

提案手法

• ドメインシフトを、ソースドメインとターゲットドメイン間での特定の属性要因の変化としてモデル化する。
• 既知の属性プライアとソースデータの属性値を用いて、サンプルごとの重みを推定する。
• 推定された転送可能性に従ってソースサンプルを再重み付けし、ターゲットドメインの分布に一致させる。
• 再重み付け機構が、直接的な属性ベースの再重み付けよりも正確な転送可能性推定を提供することを理論的に示す。
• ターゲットデータを一切必要とせず、ソースデータと既知の属性プライアに依存する。
• 分類および表現学習の両タスクに本手法を適用し、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既知の属性プライアを活用することで、ターゲットデータを一切使用せずにドメイン適応を効果的に行えるか？
• RQ2 提案された再重み付け戦略は、単純な属性ベースの再重み付けと比較して、転送可能性推定の正確性においてどのように優れているか？
• RQ3 本手法は多様なデータセットおよびドメインシフトのシナリオにわたって一般化性を示せるか？
• RQ4 本フレームワークにおけるより優れたサンプルごとの転送可能性推定の理論的根拠は何か？
• RQ5 本手法はベンチマークデータセットにおいてゼロショットドメイン適応設定でどのように性能を示すか？

主な発見

• 本手法は、ターゲットデータを一切使用しているにもかかわらず、トゥイおよびベンチマークデータセットで優れた性能を達成した。
• 理論的分析により、本手法が単純な属性ベースの再重み付けよりもより正確なサンプルごとの転送可能性推定を提供することが確認された。
• 本手法は、ターゲットドメインのサンプルを一切必要とせず、特定の属性要因の変化に起因するドメインシフトを効果的に処理できる。
• 実証的結果から、ゼロショットドメイン適応設定下でベースライン手法よりも一貫した改善が得られた。
• 異なるデータ分布および属性シフトのパターンに対して、本手法は頑健であることが示された。
• 複数のベンチマークデータセットにおける包括的な実験により、本手法の有効性が裏付けられた。