[논문 리뷰] Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling

Qian Wang, Toby P. Breckon|arXiv (Cornell University)|2019. 11. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 10

한 줄 요약

이 논문은 구조적 예측 기반 선택적 가짜 레이블링을 사용하여 가짜 레이블 정확도를 향상시키고 오류 누적을 줄이는 새로운 비지도 도메인 적응 방법을 제안한다. 타겟 특징의 구조적 패턴을 이용하기 위해 K-means 클러스터링을 활용하고, 지도형 국소성 유지 투영을 통해 반복적으로 가짜 레이블을 개선함으로써, 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, Office-Caltech에서 평균 정확도가 최대 93.0%이고, Office-Home에서 71.0%에 이를 수 있었다.

ABSTRACT

Unsupervised domain adaptation aims to address the problem of classifying unlabeled samples from the target domain whilst labeled samples are only available from the source domain and the data distributions are different in these two domains. As a result, classifiers trained from labeled samples in the source domain suffer from significant performance drop when directly applied to the samples from the target domain. To address this issue, different approaches have been proposed to learn domain-invariant features or domain-specific classifiers. In either case, the lack of labeled samples in the target domain can be an issue which is usually overcome by pseudo-labeling. Inaccurate pseudo-labeling, however, could result in catastrophic error accumulation during learning. In this paper, we propose a novel selective pseudo-labeling strategy based on structured prediction. The idea of structured prediction is inspired by the fact that samples in the target domain are well clustered within the deep feature space so that unsupervised clustering analysis can be used to facilitate accurate pseudo-labeling. Experimental results on four datasets (i.e. Office-Caltech, Office31, ImageCLEF-DA and Office-Home) validate our approach outperforms contemporary state-of-the-art methods.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인이 서로 다른 데이터 분포를 가진 비지도 도메인 적응에서 도메인 이동 문제를 해결하기 위해.
• 비라벨 타겟 샘플의 가짜 레이블링 신뢰도를 향상시켜 도메인 정렬 및 성능에 중요한 영향을 미치기 위해.
• 정확하지 않은 가짜 레이블로 인한 치명적인 오류 누적 문제를 줄이기 위해 타겟 도메인 특징의 구조적 정보를 통합하기 위해.
• 클러스터링과 구조적 예측을 활용한 선택적 가짜 레이블링 전략을 개발하여 레이블 품질을 향상시키기 위해.
• 딥 특징과 반복적 개선을 조합한 하이브리드 접근 방식을 사용하여 표준 UDA 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 타겟 도메인의 딥 특징에 대해 K-means 클러스터링을 적용하여 자연스러운 군집을 식별하고 구조적 패턴을 활용한다.
• 클러스터 수준의 일관성을 기반으로 구조적 예측을 적용하여 가짜 레이블을 할당함으로써 개별 레이블링보다 레이블 신뢰도를 향상시킨다.
• 선택적 가짜 레이블링 전략을 도입하여 높은 신뢰도 또는 클러스터 일관성이 있는 샘플들만 레이블링함으로써 노이즈를 줄인다.
• 지도형 국소성 유지 투영(SLPP)을 사용하여 원천 레이블 데이터와 선택된 타겟 가짜 레이블 데이터를 모두 활용해 도메인 불변 부분공간을 학습한다.
• 반복적 프레임워크: 가짜 레이블링, 부분공간 학습, 개선 단계를 번갈아가며 모델 일반화 능력을 점진적으로 향상시킨다.
• PCA 차원 수(d₁), SLPP 차원 수(d₂), 반복 횟수(T)와 같은 하이퍼파rameter를 튜닝하였으며, d₂ > 클래스 수일 경우에 하이퍼파rameter 민감도가 매우 낮게 나타났다.

실험 결과

연구 질문

• RQ1 클러스터링 기반의 구조적 예측이 비지도 도메인 적응에서 가짜 레이블링 정확도를 향상시킬 수 있는가?
• RQ2 클러스터 구조를 기반으로 한 선택적 가짜 레이블링이 전역적 또는 독립적 레이블링보다 오류 누적을 줄이는가?
• RQ3 SLPP와 구조적 가짜 레이블링을 활용한 반복적 개선이 표준 UDA 벤치마크에서 기존 최신 기술 수준의 방법을 초월할 수 있는가?
• RQ4 PCA 및 SLPP 공간의 차원 수와 같은 하이퍼파rameter에 대해 제안된 방법이 얼마나 민감한가?
• RQ5 구성 요소 분석(예: 구조적 예측 vs. 최근접 클래스 프로토타입)이 최종 성능에 얼마나 영향을 미치는가?

주요 결과

• Office-Caltech 데이터셋에서 제안된 방법은 평균 정확도 93.0%를 기록하여 MEDA(92.8%)를 능가하고 새로운 최신 기술 수준을 수립했다.
• Office31에서 이 방법은 여섯 개 작업 중 다섯 개에서 최고 또는 두 번째로 높은 성능를 기록하였으며, 평균 정확도 89.6%를 달성하여 SymNets(88.4%) 및 기타 최신 기술 수준 모델을 초월했다.
• ImageCLEF-DA에서 이 방법은 평균 정확도 90.5%로 가장 높은 성능를 기록하여 SymNets(89.9%)와 MEDA(89.0%)를 능가했다.
• 도전적인 Office-Home 데이터셋에서 이 방법은 평균 정확도 71.0%를 기록하여 CAPLS(70.6%)와 SymNets(67.6%)를 능가하며 대규모 데이터에서의 강건성을 입증했다.
• 아보레이션 연구를 통해 선택적 가짜 레이블링과 구조적 예측의 조합이 성능 향상에 크게 기여했으며, 전체 방법은 Office-Home에서 71.0%의 정확도를 기록하여 선택 기반 없이 기본 모델 대비 2.8% 향상된 성능를 보였다.
• 이 방법은 하이퍼파rameter에 대해 매우 낮은 민감도를 보였으며, d₂ > 클래스 수일 경우 성능가 안정적이었고, 반복 횟수 T > 2일 경우 영향이 거의 없었다.