[论文解读] Heuristic Domain Adaptation

Shuhao Cui, Xuan Jin+3 more|arXiv (Cornell University)|Nov 30, 2020

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出了一种启发式域适应框架，通过源域风险、理想联合假设风险和域差异风险来约束假设的目标风险。通过将假设分解为启发式组件，该框架在理论上通过风险边界实现了跨域的改进泛化，其关键贡献在于提出了一个考虑分布偏移的概率泛化边界。

ABSTRACT

In visual domain adaptation (DA), separating the domain-specific characteristics from the domain-invariant representations is an ill-posed problem. Existing methods apply different kinds of priors or directly minimize the domain discrepancy to address this problem, which lack flexibility in handling real-world situations. Another research pipeline expresses the domain-specific information as a gradual transferring process, which tends to be suboptimal in accurately removing the domain-specific properties. In this paper, we address the modeling of domain-invariant and domain-specific information from the heuristic search perspective. We identify the characteristics in the existing representations that lead to larger domain discrepancy as the heuristic representations. With the guidance of heuristic representations, we formulate a principled framework of Heuristic Domain Adaptation (HDA) with well-founded theoretical guarantees. To perform HDA, the cosine similarity scores and independence measurements between domain-invariant and domain-specific representations are cast into the constraints at the initial and final states during the learning procedure. Similar to the final condition of heuristic search, we further derive a constraint enforcing the final range of heuristic network output to be small. Accordingly, we propose Heuristic Domain Adaptation Network (HDAN), which explicitly learns the domain-invariant and domain-specific representations with the above mentioned constraints. Extensive experiments show that HDAN has exceeded state-of-the-art on unsupervised DA, multi-source DA and semi-supervised DA. The code is available at https://github.com/cuishuhao/HDA.

研究动机与目标

• 解决机器学习中源域与目标域分布不同的领域偏移挑战。
• 构建一个理论框架，利用源域风险和域差异风险来约束假设的目标风险。
• 通过将假设分解为可加组件，实现假设空间中的启发式搜索策略。
• 通过利用理想联合假设和假设间的差异，最小化目标风险。
• 提供一个考虑域适应中分布偏移的理论保证。

提出的方法

• 将假设 F 在源分布和目标分布下的风险分别形式化为 ϵS(F) 和 ϵT(F)。
• 在分布 S 下，引入两个假设 F1 和 F2 之间的不一致度量：ϵS(F1, F2) = E[(F1(x) - F2(x))²]。
• 将理想假设 F* 定义为源域与目标域风险之和的最小化器：F* = argmin_F [ϵS(F) + ϵT(F)]。
• 推导出目标风险的概率边界：ϵT(F) ≤ ϵS(F) + [ϵS(F*) + ϵT(F*)] + |ϵS(F, F*) - ϵT(F, F*)|。
• 通过将 F = G + H 分解，在启发式搜索中应用该边界，其中 F, G, H ∈ H，从而实现结构化的假设搜索。
• 利用差异项来度量假设在源域与目标域行为之间的偏离程度，指导域适应过程。

实验结果

研究问题

• RQ1 如何利用源域风险和域差异风险来约束假设的目标风险？
• RQ2 理想联合假设 F* 在最小化跨域泛化误差中起到什么作用？
• RQ3 假设在源域与目标域下的不一致度如何影响模型的可迁移性？
• RQ4 假设的启发式分解（F = G + H）能否提升域适应性能？
• RQ5 在分布偏移条件下，域适应可以提供哪些理论保证？

主要发现

• 目标风险 ϵT(F) 被源域风险、理想联合风险以及源域与目标域不一致项之间的差异所界定。
• 该边界通过量化分布偏移对模型性能的影响，为域适应提供了理论基础。
• 差异项 |ϵS(F, F*) - ϵT(F, F*)| 捕捉了假设在不同域中行为的偏离程度，必须被最小化。
• 通过将 F = G + H 分解，实现了假设空间中的启发式搜索，从而在理论边界的约束下实现结构化探索。
• 该框架通过最小化 F* 的源域与目标域风险之和，支持对未见目标域的泛化。
• 概率边界确保：若源域风险和域差异较低，则目标域风险也将较低，从而实现可靠的域适应。