[논문 리뷰] Hierarchical Adaptive Structural SVM for Domain Adaptation

Jiaolong Xu, Sebastian Ramos외 2명|arXiv (Cornell University)|2014. 08. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 10

한 줄 요약

이 논문은 계층적 구조를 가진 다수의 타겟 도메인 또는 하위 도메인을 활용하여 분류 정확도를 향상시키는 새로운 도메인 적응 방법인 계층적 적응 구조 서포트 벡터 머신(HA-SSVM)을 제안한다. 적응 구조 서포트 벡터 머신을 사용하여 타겟 도메인의 트리 구조 계층에서 함께 소스 도메인 분류기를 적응시킴으로써, 보행자 검출 및 다중 카테고리 객체 인식에서 단일 레이어 적응 전략보다 뛰어난 성능을 달성한다. 이는 하위 도메인이 자동으로 발견되더라도 성립한다.

ABSTRACT

A key topic in classification is the accuracy loss produced when the data distribution in the training (source) domain differs from that in the testing (target) domain. This is being recognized as a very relevant problem for many computer vision tasks such as image classification, object detection, and object category recognition. In this paper, we present a novel domain adaptation method that leverages multiple target domains (or sub-domains) in a hierarchical adaptation tree. The core idea is to exploit the commonalities and differences of the jointly considered target domains. Given the relevance of structural SVM (SSVM) classifiers, we apply our idea to the adaptive SSVM (A-SSVM), which only requires the target domain samples together with the existing source-domain classifier for performing the desired adaptation. Altogether, we term our proposal as hierarchical A-SSVM (HA-SSVM). As proof of concept we use HA-SSVM for pedestrian detection and object category recognition. In the former we apply HA-SSVM to the deformable part-based model (DPM) while in the latter HA-SSVM is applied to multi-category classifiers. In both cases, we show how HA-SSVM is effective in increasing the detection/recognition accuracy with respect to adaptation strategies that ignore the structure of the target data. Since, the sub-domains of the target data are not always known a priori, we shown how HA-SSVM can incorporate sub-domain structure discovery for object category recognition.

연구 동기 및 목표

• 학습(소스) 데이터와 테스트(타겟) 데이터의 분포가 다름으로 인해 발생하는 도메인 시프트 문제를 해결한다.
• 각 타겟 도메인을 별개로 다루거나 모든 타겟을 하나로 통합하는 단일 레이어 도메인 적응 방법의 한계를 극복한다.
• 계층적 구조를 통해 관련된 타겟 하위 도메인 간의 공통점과 고유한 차이점을 동시에 활용하는 방법을 개발한다.
• 소스 도메인 데이터에 접근할 필요 없이, 라벨이 부여된 타겟 샘플과 사전 학습된 소스 분류기만을 기반으로 도메인 적응을 가능하게 한다.
• 알려진 도메인 또는 자동으로 발견된 도메인 구조 모두에서의 효과성을 입증하며, 특히 잠재 도메인 발견이 수반되는 객체 인식 작업에서 유의미하다.

제안 방법

• 유사도에 기반해 타겟 도메인을 부모-자식 관계로 정렬한 계층적 적응 트리를 구성한다.
• 모든 노드(루트에서 叶까지)에 걸쳐 공동 최적화를 수행하기 위해 적응 구조 서포트 벡터 머신(A-SSVM)을 적용한다.
• 단일 목적 함수를 사용하여 渐진적 적응을 가능하게 하며, 중간 노드는 하위 도메인 간의 공통 특징을 포착하고, 잎 노드는 도메인별 특이 특징을 모델링한다.
• 소스 데이터에 재접근할 필요 없이, 라벨이 부여된 타겟 도메인 데이터와 사전 학습된 소스 분류기만으로도 적응을 수행한다.
• 도메인 구조가 사전에 알려지지 않은 경우, 군집화(예: Reshape, LatDD)를 통해 하위 도메인을 자동으로 발견하며, 각 하위 도메인의 카테고리당 최소 3개의 라벨 샘플만을 요구한다.
• 모든 계층 수준에서 다중 카테고리 분류기를 동시에 학습시켜, 부정확한 도메인 할당으로 인한 오차를 상쇄시킨다.

실험 결과

연구 질문

• RQ1 다양한 상관관계가 있는 타겟 도메인이 존재하는 상황에서, 계층적 도메인 적응이 단일 레이어 적응보다 성능을 향상시킬 수 있는가?
• RQ2 하위 도메인 간의 공통된 구조를 활용할 경우, 모든 타겟 데이터를 통합하는 것과 비교해 검출 및 인식 정확도에 어떤 영향을 미치는가?
• RQ3 타겟 하위 도메인이 사전에 알려지지 않은 상태에서 자동으로 발견되어야 할 경우, HA-SSVM이 얼마나 높은 성능을 유지할 수 있는가?
• RQ4 계층 전체에서 공동 최적화를 수행함으로써, 부정확한 하위 도메인 발견으로 인한 오류를 완화할 수 있는가?
• RQ5 보행자 검출 및 다중 카테고리 객체 인식 작업에서, HA-SSVM은 최신의 도메인 적응 방법들과 비교해 어떤가?

주요 결과

• HA-SSVM은 세 단계 계층을 사용하여 PASCAL VOC 2007 테스트 세트에서 보행자 검출 mAP 59.1%를 달성했으며, 단일 레이어 풀링 전략보다 뛰어난 성능을 보였다.
• 다중 카테고리 객체 인식에서, 발견된 하위 도메인을 사용한 HA-SSVM(Reshape-Pr)은 평균 정확도 49.1%를 기록했으며, 사전에 도메인 정보가 주어진 경우의 49.0%와 유사한 성능을 보였다.
• 제한된 라벨 데이터를 가진 하위 도메인에서도, 단일 레이어 적응(각 도메인 별 별도 적응) 및 풀링 기반 전략보다 뛰어난 성능을 보였다.
• 지표 기반 도메인 발견을 사용한 Reshape-Pr는 LatDD-Pr보다 높은 정확도를 보였지만, HA-SSVM의 공동 학습이 도메인 오분류 오차를 부분적으로 상쇄시켰다.
• 세 단계 HA-SSVM 설정은 최고의 이중 단계 설정과 비슷한 성능을 달성하여, 계층적 접근의 확장성과 견고성을 입증했다.
• Reshape-Pr를 통해 하위 도메인을 발견한 경우, HA-SSVM은 강력한 성능(49.1% 정확도)을 유지했으며, 이는 도메인 구조가 알려지지 않은 실제 환경에서도 효과적임을 보여준다.