[論文レビュー] Heuristic Domain Adaptation

Shuhao Cui, Xuan Jin+3 more|arXiv (Cornell University)|Nov 30, 2020

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、仮説のターゲットリスクをソースリスク、理想結合仮説リスク、ドメイン不一致リスクを用いて上限付けるヒューリスティックなドメイン適応フレームワークを提案する。仮説をヒューリスティックな成分に分解することにより、理論的リスクバウンディングを介してドメイン間での一般化を向上させることができ、主な貢献は分布シフトを考慮した確率的一般化バウンディングである。

ABSTRACT

In visual domain adaptation (DA), separating the domain-specific characteristics from the domain-invariant representations is an ill-posed problem. Existing methods apply different kinds of priors or directly minimize the domain discrepancy to address this problem, which lack flexibility in handling real-world situations. Another research pipeline expresses the domain-specific information as a gradual transferring process, which tends to be suboptimal in accurately removing the domain-specific properties. In this paper, we address the modeling of domain-invariant and domain-specific information from the heuristic search perspective. We identify the characteristics in the existing representations that lead to larger domain discrepancy as the heuristic representations. With the guidance of heuristic representations, we formulate a principled framework of Heuristic Domain Adaptation (HDA) with well-founded theoretical guarantees. To perform HDA, the cosine similarity scores and independence measurements between domain-invariant and domain-specific representations are cast into the constraints at the initial and final states during the learning procedure. Similar to the final condition of heuristic search, we further derive a constraint enforcing the final range of heuristic network output to be small. Accordingly, we propose Heuristic Domain Adaptation Network (HDAN), which explicitly learns the domain-invariant and domain-specific representations with the above mentioned constraints. Extensive experiments show that HDAN has exceeded state-of-the-art on unsupervised DA, multi-source DA and semi-supervised DA. The code is available at https://github.com/cuishuhao/HDA.

研究の動機と目的

• ソース分布とターゲット分布が異なるドメインシフトの課題に対処すること。
• ソースリスクとドメイン不一致リスクを用いて仮説のターゲットリスクを上限付ける理論的フレームワークを構築すること。
• 仮説を加法的成分に分解することにより、仮説空間におけるヒューリスティックサーチ戦略を可能にすること。
• 理想結合仮説と仮説間の不一致を活用してターゲットリスクを最小化すること。
• ドメイン適応における分布シフトを考慮した確率的一般化バウンディングを提供すること。

提案手法

• 仮説 F のソース分布およびターゲット分布におけるリスクをそれぞれ ϵS(F) および ϵT(F) として定式化する。
• 仮説 F1 と F2 の不一致を、分布 S における E[(F1(x) - F2(x))²] として定義する。
• ソースリスクとターゲットリスクの和を最小化する仮説 F* を理想仮説として定義する：F* = argmin_F [ϵS(F) + ϵT(F)]。
• ターゲットリスクの確率的バウンディングを導出する：ϵT(F) ≤ ϵS(F) + [ϵS(F*) + ϵT(F*)] + |ϵS(F, F*) - ϵT(F, F*)|。
• 仮説を F = G + H と分解することで、バウンディングをヒューリスティックサーチに適用し、構造的な仮説探索を可能にする。
• 不一致項を用いて、仮説のソースとターゲットにおける行動の乖離を測定し、適応をガイドする。

実験結果

リサーチクエスチョン

• RQ1 ソースリスクとドメイン不一致リスクを用いて、仮説のターゲットリスクをどのように上限付けることができるか？
• RQ2 理想結合仮説 F* は、ドメイン間での一般化誤差を最小化するために果たす役割は何か？
• RQ3 ソース分布およびターゲット分布における仮説間の不一致は、モデルの転送性にどのように影響するか？
• RQ4 仮説のヒューリスティック分解（F = G + H）は、ドメイン適応性能を向上させることができるか？
• RQ5 分布シフト下でのドメイン適応に対して、どのような理論的保証を提供できるか？

主な発見

• ターゲットリスク ϵT(F) は、ソースリスク、理想結合リスク、およびソースとターゲットの不一致項の差の絶対値の和によって上限付けられる。
• このバウンディングは、分布シフトがモデルパフォーマンスに与える影響を定量化することで、ドメイン適応の理論的基盤を提供する。
• 不一致項 |ϵS(F, F*) - ϵT(F, F*)| は、ドメイン間での仮説行動の乖離を捉えており、これを最小化する必要がある。
• F = G + H と分解することにより、仮説空間におけるヒューリスティックサーチが可能になり、理論的バウンディングの下での構造的探索が可能になる。
• F* を用いてソースリスクとターゲットリスクの和を最小化することで、未観測のターゲットドメインへの一般化が可能になる。
• 確率的バウンディングにより、ソースリスクとドメイン不一致が低い場合、ターゲットリスクも低くなることが保証され、信頼性の高い適応が可能になる。