[论文解读] Hierarchical Adaptive Structural SVM for Domain Adaptation

Jiaolong Xu, Sebastian Ramos+2 more|arXiv (Cornell University)|Aug 22, 2014

Domain Adaptation and Few-Shot Learning参考文献 32被引用 10

一句话总结

本文提出了一种新型领域自适应方法——分层自适应结构SVM（HA-SSVM），通过利用多个目标领域或子领域的分层结构，提升分类准确率。通过采用自适应结构SVM，在树状结构的目标领域层次中联合适应源领域分类器，HA-SSVM在行人检测和多类别物体识别任务中均优于单层适应策略，即使子领域是自动发现的也表现优异。

ABSTRACT

A key topic in classification is the accuracy loss produced when the data distribution in the training (source) domain differs from that in the testing (target) domain. This is being recognized as a very relevant problem for many computer vision tasks such as image classification, object detection, and object category recognition. In this paper, we present a novel domain adaptation method that leverages multiple target domains (or sub-domains) in a hierarchical adaptation tree. The core idea is to exploit the commonalities and differences of the jointly considered target domains. Given the relevance of structural SVM (SSVM) classifiers, we apply our idea to the adaptive SSVM (A-SSVM), which only requires the target domain samples together with the existing source-domain classifier for performing the desired adaptation. Altogether, we term our proposal as hierarchical A-SSVM (HA-SSVM). As proof of concept we use HA-SSVM for pedestrian detection and object category recognition. In the former we apply HA-SSVM to the deformable part-based model (DPM) while in the latter HA-SSVM is applied to multi-category classifiers. In both cases, we show how HA-SSVM is effective in increasing the detection/recognition accuracy with respect to adaptation strategies that ignore the structure of the target data. Since, the sub-domains of the target data are not always known a priori, we shown how HA-SSVM can incorporate sub-domain structure discovery for object category recognition.

研究动机与目标

• 解决计算机视觉中因训练（源）数据与测试（目标）数据分布不同而产生的领域偏移问题。
• 克服单层领域自适应方法的局限性，后者将每个目标领域孤立处理或将其全部合并为单一领域。
• 提出一种方法，通过分层结构同时利用相关目标子领域之间的共性及其独特差异。
• 实现在无需访问源领域数据的前提下进行领域自适应，仅依赖已标注的目标样本和预训练的源分类器。
• 在已知和自动发现的目标领域结构下均证明方法的有效性，尤其在具有潜在领域发现的物体识别任务中。

提出的方法

• 构建一个分层自适应树，根据目标领域的相似性将它们组织为父子关系。
• 应用自适应结构SVM（A-SSVM），在从根节点到叶节点的整个层次结构中联合优化模型参数。
• 使用单一目标函数实现渐进式适应：中间节点捕捉子领域间的共享特征，叶节点建模领域特定的差异。
• 仅依赖目标领域的已标注数据和预训练的源分类器实现自适应，避免重新访问源数据。
• 当领域结构事先未知时，通过聚类（如Reshape、LatDD）实现子领域发现，每个类别每个子领域仅需3个标注样本。
• 在所有层次级别上联合训练多类别分类器，允许因子领域分配不准确而产生的误差相互补偿。

实验结果

研究问题

• RQ1 在多个相关联的目标领域场景下，分层领域自适应是否能优于单层自适应？
• RQ2 与将所有目标数据合并处理相比，利用子领域间的共享结构对检测与识别准确率有何影响？
• RQ3 当目标子领域事先未知而必须被自动发现时，HA-SSVM在多大程度上仍能保持高性能？
• RQ4 在层次结构中进行联合优化，是否能缓解因子领域发现不准确而引入的误差？
• RQ5 在行人检测和多类别物体识别任务中，HA-SSVM与当前最先进领域自适应方法相比表现如何？

主要发现

• 在PASCAL VOC 2007测试集上，HA-SSVM使用三层层次结构实现了59.1%的行人检测mAP，优于单层池化策略。
• 在多类别物体识别任务中，HA-SSVM在自动发现的子领域（Reshape-Pr）下达到49.1%的平均准确率，与已知领域结构时的49.0%准确率相当。
• 即使每个子领域的标注数据有限，HA-SSVM仍优于单层自适应（各领域独立适应）和池化策略。
• Reshape-Pr（基于真实标签的领域发现）的准确率高于LatDD-Pr，但HA-SSVM的联合训练在一定程度上补偿了领域误分类的误差。
• 三层HA-SSVM配置的性能与最佳的两层设置相当，证明了该分层方法的可扩展性与鲁棒性。
• 当通过Reshape-Pr发现子领域时，HA-SSVM保持了优异性能（49.1%准确率），表明该方法在未知领域结构的真实场景中依然有效。