[논문 리뷰] VDM-DA: Virtual Domain Modeling for Source Data-free Domain Adaptation

Jiayi Tian, Jing Zhang외 2명|arXiv (Cornell University)|2021. 03. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 9

한 줄 요약

이 논문은 원본 소스 데이터에 접근할 수 없을 때 소스 데이터 프리 없는 비지도 도메인 적응을 위한 새로운 방법인 VDM-DA를 제안한다. 이 방법은 특성 공간에서 가우시안 믹스처 모델(GMM)을 사용해 가상 도메인을 구축함으로써 소스 도메인과 타겟 도메인 간의 분포 갭을 메우며, 원본 소스 데이터에 접근하지 않고도 성능을 달성한다. 불확실성 유도 전략을 통해 타겟 도메인을 이 가상 도메인에 정렬함으로써, 2D 이미지 및 3D 포인트 클라우드 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Domain adaptation aims to leverage a label-rich domain (the source domain) to help model learning in a label-scarce domain (the target domain). Most domain adaptation methods require the co-existence of source and target domain samples to reduce the distribution mismatch, however, access to the source domain samples may not always be feasible in the real world applications due to different problems (e.g., storage, transmission, and privacy issues). In this work, we deal with the source data-free unsupervised domain adaptation problem, and propose a novel approach referred to as Virtual Domain Modeling (VDM-DA). The virtual domain acts as a bridge between the source and target domains. On one hand, we generate virtual domain samples based on an approximated Gaussian Mixture Model (GMM) in the feature space with the pre-trained source model, such that the virtual domain maintains a similar distribution with the source domain without accessing to the original source data. On the other hand, we also design an effective distribution alignment method to reduce the distribution divergence between the virtual domain and the target domain by gradually improving the compactness of the target domain distribution through model learning. In this way, we successfully achieve the goal of distribution alignment between the source and target domains by training deep networks without accessing to the source domain data. We conduct extensive experiments on benchmark datasets for both 2D image-based and 3D point cloud-based cross-domain object recognition tasks, where the proposed method referred to Domain Adaptation with Virtual Domain Modeling (VDM-DA) achieves the state-of-the-art performances on all datasets.

연구 동기 및 목표

• 기밀, 저장 또는 전송 제약으로 인해 원본 소스 데이터에 접근할 수 없을 때 도메인 스트레치 문제를 해결한다.
• 복잡한 데이터 생성 또는 오류가 발생하기 쉬운 자기학습에 의존하는 기존의 소스 데이터 프리 UDA 방법의 한계를 극복한다.
• 소스 도메인 분포 특성을 특성 공간에 유지하는 일반적이고 파라미터 없는 가상 도메인 모델링 방법을 개발한다.
• 새로운 불확실성 유도 정렬 전략을 통해 타겟 도메인의 밀도를 높이고 가상 도메인과의 정렬을 향상시킨다.
• 원본 데이터 접근이 필요 없이 2D 이미지 및 3D 포인트 클라우드와 같은 다양한 모odalities에 대해 효과적인 도메인 적응을 가능하게 한다.

제안 방법

• 사전 훈련된 소스 모델의 특성에서 훈련된 가우시안 믹스처 모델(GMM)을 사용해 고수준 특성 공간에 가상 도메인을 구축하며, 원본 소스 데이터에 접근하지 않는다.
• 사전 훈련된 소스 모델의 은닉 정보를 사용해 알려지지 않은 GMM 파라미터를 근사함으로써 추가적인 학습 가능한 파라미터를 피한다.
• 하이퍼파라미터 λ를 조정하여 내부 클래스 분산을 제어하는 가상 도메인 샘플을 생성함으로써 밀도와 다양성 간의 균형을 이룬다.
• 불확실성 인식 정렬 모듈을 도입하여 높은 신뢰도 예측을 선택적으로 정렬함으로써 타겟 도메인의 내부 클래스 밀도를 향상시킨다.
• 소스 도메인과 가상 도메인 간의 분포 갭과 가상 도메인과 타겟 도메인 간의 분포 갭을 동시에 줄임으로써 도메인 불일치를 최소화한다.
• 교차 엔트로피 손실을 타겟 도메인 예측에 적용하고, 불확실성 유도 정렬을 통한 일관성 정규화를 함께 사용하여 최종 분류기의 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 원본 소스 데이터에 접근하지 않고도 특성 공간에서 소스 도메인의 통계 분포를 유지할 수 있는 가상 도메인을 효과적으로 모델링할 수 있는가?
• RQ2 소스 데이터가 이용 불가능할 경우 가상 도메인과 타겟 도메인 간의 분포 불일치를 줄이기 위해 타겟 도메인을 어떻게 가상 도메인에 정렬할 수 있는가?
• RQ3 기본적인 도메인 정렬에 비해 불확실성 유도 정렬 전략이 타겟 도메인의 내부 클래스 밀도와 일반화 능력을 향상시키는가?
• RQ4 제안된 VDM-DA 프레임워크는 2D 이미지 및 3D 포인트 클라우드와 같은 다양한 데이터 모달리티에 대해 소스 데이터 프리 환경에서 일반화 가능한가?
• RQ5 특히 가상 도메인 샘플의 분산을 제어하는 데 사용되는 하이퍼파라미터 λ에 대해 이 방법의 정확도는 얼마나 강건한가?

주요 결과

• VDM-DA는 2D 이미지 및 3D 포인트 클라우드 기반의 교차 도메인 객체 인식 작업에서 모든 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.
• VisDA17 데이터셋에서 λ = 6일 때 VDM-DA는 85.1%의 top-1 정확도를 기록하며, λ 값이 4에서 10 사이의 범위에서 매우 강건한 성능을 보였다.
• t-SNE 시각화 결과는 가상 도메인 샘플이 실제 소스 도메인 샘플과 매우 유사하게 정렬되어 있으며, 원본 소스 데이터보다 더 나은 클래스 분리 성능을 보임을 확인했다.
• 불확실성 인식 정렬 전략은 타겟 도메인의 밀도를 크게 향상시켜, 기존의 단순 정렬 방법에 비해 더 강한 클래스 집중 표현을 생성했다.
• 대규모 도메인 스트레치 상황에서도 SHOT과 같은 기존 SFUDA 기반 베이스라인에 비해 성능이 뛰어나며, 이는 안정적인 가상 도메인이 소스 분포 특성을 더 잘 유지하기 때문이다.
• 제거 실험 결과, 가상 도메인 구축 및 불확실성 유도 정렬 전략이 최적 성능을 내기 위해 모두 필수적임을 입증했으며, 각 구성 요소가 도메인 정렬 및 분류 정확도 향상에 기여했다.