[논문 리뷰] Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders

Qian Wang, Toby P. Breckon|arXiv (Cornell University)|2020. 08. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 5

한 줄 요약

이 논문은 소스 도메인 샘플에서 미지의 클래스를 위한 합성 타겟 도메인 특징을 생성하기 위해 결합된 조건부 변동형 오토인코더(CCVAE)를 사용하는 새로운 일반화된 제로샷 도메인 적응(GZSDA) 프레임워크를 제안한다. 공유된 잠재 공간에서 도메인과 클래스 정보를 함께 모델링함으로써 CCVAE는 기존의 보다 높은 정확도로 본래의 클래스와 미지의 클래스 모두에 대해 효과적인 분류를 가능하게 하며, 특히 데이터가 부족한 상황에서 성능 향상을 이룬다.

ABSTRACT

Domain adaptation approaches aim to exploit useful information from the source domain where supervised learning examples are easier to obtain to address a learning problem in the target domain where there is no or limited availability of such examples. In classification problems, domain adaptation has been studied under varying supervised, unsupervised and semi-supervised conditions. However, a common situation when the labelled samples are available for a subset of target domain classes has been overlooked. In this paper, we formulate this particular domain adaptation problem within a generalized zero-shot learning framework by treating the labelled source domain samples as semantic representations for zero-shot learning. For this particular problem, neither conventional domain adaptation approaches nor zero-shot learning algorithms directly apply. To address this generalized zero-shot domain adaptation problem, we present a novel Coupled Conditional Variational Autoencoder (CCVAE) which can generate synthetic target domain features for unseen classes from their source domain counterparts. Extensive experiments have been conducted on three domain adaptation datasets including a bespoke X-ray security checkpoint dataset to simulate a real-world application in aviation security. The results demonstrate the effectiveness of our proposed approach both against established benchmarks and in terms of real-world applicability.

연구 동기 및 목표

• 기존의 도메인 적응 및 제로샷 학습 방법은 타겟 클래스의 일부만 레이블이 붙어 있을 경우 실패한다는 점을 해결한다.
• 본래의 클래스와 미지의 클래스 모두를 타겟 도메인에서 인식해야 하는 새로운 일반화된 제로샷 도메인 적응(GZSDA) 문제를 정의한다.
• 본래의 클래스에 대한 과적합과 데이터 불균형 문제를 해결하기 위해, 미지 클래스를 위한 타겟 도메인 특징을 합성하여 생성한다.
• 분류 성능 향상을 위해 클래스 정보와 도메인 정보를 특징 생성 과정에서 유지하는 통합적이고 확장 가능한 방법을 개발한다.

제안 방법

• 공유된 잠재 공간에서 도메인과 클래스 조건부 특징 표현을 함께 학습하는 결합된 조건부 변동형 오토인코더(CCVAE)를 제안한다.
• 소스 도메인 샘플을 의미론적 사전 지식으로 사용하여, 미지 클래스의 타겟 도메인 특징을 생성함으로써 단일 분류기로 엔드 투 엔드 학습을 가능하게 한다.
• VAE를 도메인(소스/타겟)과 클래스 레이블 양쪽에 조건부로 설정하여, 이질적인 도메인 간 특징 생성 과정에서 클래스 정보가 유지되도록 한다.
• 실제 특징과 양도된 특징을 모두 포함한 두 도메인의 특징을 기반으로 통합 분류기를 학습하여, 미지 클래스로의 일반화 성능을 향상시킨다.
• 생성 복잡도를 줄이고 분류 성능에 집중하기 위해 픽셀 공간이 아닌 특징 공간에서 작동한다.
• 양방향 생성 메커니즘을 구현: 소스에서 타겟 특징을 생성하고, 그 반대로도 생성함으로써 데이터 증강과 도메인 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 타겟 도메인 클래스의 일부만 레이블이 붙어 있을 때, 생성 모델이 소스 도메인과 타겟 도메인 간의 도메인 이동을 효과적으로 보완할 수 있는가?
• RQ2 이질적인 도메인 간 특징 생성 과정에서 클래스 정보를 어떻게 유지할 수 있는가? 이는 미지 클래스의 인식을 지원하기 위함이다.
• RQ3 공유된 잠재 공간에서 도메인과 클래스를 함께 모델링하면, 데이터가 부족한 타겟 도메인에서 일반화 성능이 향상되는가?
• RQ4 소스 샘플에서 유도된 합성 데이터 생성이 항공 보안 검사와 같은 실제 응용 분야에서 제로샷 일반화 성능을 향상시킬 수 있는가?

주요 결과

• CCVAE는 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 기록했으며, CADA-VAE 및 LPP와 같은 기존 방법들을 능가했다.
• X-ray 보안 데이터셋(BaggageXray)에서 'Neg→Color' 설정에서 70.6%의 정확도를 기록했으며, 다음으로 높은 성능을 보인 LPP(69.2%)와 비교해 뚜렷한 우월성을 보였다.
• 'Color→Neg' 설정에서는 63.2%의 정확도를 기록했으며, LPP(45.2%)와 CADA-VAE(34.5%)를 모두 앞서며 도메인 이동에 대한 강건성을 입증했다.
• CUB-200-2011 및 CUB-200-2011-100 데이터셋에서 CCVAE는 각각 90.2%와 92.0%의 상위 1위 정확도를 기록했으며, 강력한 일반화 능력을 보였다.
• 절단 실험 결과, 도메인과 클래스에 대한 동시 조건부 설정이 필수적임을 확인했으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 제안된 BaggageXray 데이터셋은 향후 GZSDA 연구를 위한 현실적이고 도전적인 벤치마크를 제공하며, 특히 항공 보안 응용 분야에서의 활용에 유의미한 기여를 한다.