[논문 리뷰] Progressively Select and Reject Pseudo-labelled Samples for Open-Set Domain Adaptation

Qian Wang, Fanlin Meng외 1명|arXiv (Cornell University)|2021. 10. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 8

한 줄 요약

이 논문은 알려진 클래스의 가짜 레이블 샘플을 점진적으로 선택하고, 알려지지 않은 클래스로 간주되는 이상치를 거부하는 Open-Set Locality Preserving Projection (OSLPP)를 사용하여 새로운 개방형 도메인 적응 프레임워크를 제안한다. OSLPP는 알려진 클래스의 소스 및 타겟 데이터가 정렬되고, 알려지지 않은 클래스 샘플은 멀어지도록 하는 공통 부분공간을 학습한다. 이로 인해 Office-31에서 평균 HOS 87.4%와 Office-Home에서 67.0%의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Domain adaptation solves image classification problems in the target domain by taking advantage of the labelled source data and unlabelled target data. Usually, the source and target domains share the same set of classes. As a special case, Open-Set Domain Adaptation (OSDA) assumes there exist additional classes in the target domain but not present in the source domain. To solve such a domain adaptation problem, our proposed method learns discriminative common subspaces for the source and target domains using a novel Open-Set Locality Preserving Projection (OSLPP) algorithm. The source and target domain data are aligned in the learned common spaces class-wisely. To handle the open-set classification problem, our method progressively selects target samples to be pseudo-labelled as known classes and rejects the outliers if they are detected as from unknown classes. The common subspace learning algorithm OSLPP simultaneously aligns the labelled source data and pseudo-labelled target data from known classes and pushes the rejected target data away from the known classes. The common subspace learning and the pseudo-labelled sample selection/rejection facilitate each other in an iterative learning framework and achieves state-of-the-art performance on benchmark datasets Office-31 and Office-Home with the average HOS of 87.4% and 67.0% respectively.

연구 동기 및 목표

• 알려진 클래스와 다른 클래스의 샘플이 잘못 정렬되어 발생하는 음성 전이 문제를 해결하기 위해, 알려지지 않은 클래스 샘플이 알려진 클래스와 정렬되지 않는 문제를 해결한다.
• 지역 구조를 유지하면서 알려진 클래스와 알려지지 않은 클래스를 분리하는 공통 부분공간을 학습하여 소스 도메인과 타겟 도메인 간의 도메인 정렬을 향상시킨다.
• 반복 학습 과정에서 오류 누적을 줄이기 위해 신뢰할 수 있는 가짜 레이블 샘플을 선택하고 이상치를 거부하는 점진적 전략을 개발한다.
• 기본 테스트 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 하이퍼파라미터 선택에 대해 강건성을 유지한다.

제안 방법

• 알려진 클래스의 소스 데이터와 가짜 레이블이 부여된 타겟 데이터를 정렬하고, 거부된 샘플(이상치)을 알려진 클래스로부터 멀어지게 하는 공통 부분공간을 학습하는 Open-Set Locality Preserving Projection (OSLPP)를 도입한다. 이는 LPP의 변형이다.
• 점진적 가짜 레이블링 전략을 적용한다: 초기에는 타겟 샘플을 알려진 클래스로 레이블링하고, 반복적으로 신뢰도가 높은 샘플을 선택하며, 모든 알려진 클래스로부터 거리가 먼 샘플은 거부한다.
• T회 반복하는 동안 OSLPP 기반 부분공간 학습과 가짜 레이블 선택/거부를 번갈아 수행하여, 정렬과 이상치 탐지가 상호 보완적으로 향상되도록 한다.
• OSLPP 이전에 차원 감소를 위해 PCA를 사용하여 계산 비용과 노이즈를 줄이며, 부분공간 차원은 하이퍼파rameter $d_{PCA}$와 $d$로 제어된다.
• 학습된 공통 부분공간에서 클래스 간 분리도와 이상치 분리 정도를 확인하기 위해 t-SNE 시각화를 적용한다.
• 하이퍼파라미터 $n_r$ (초기 거부 수)와 $T$ (반복 횟수)를 조정하여 알려진 클래스 정확도(OS*)와 알려지지 않은 클래스 정확도(UNK) 간의 균형을 조절할 수 있도록 한다. 이는 실제 도메인 배포에서의 실용적 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 알려진 클래스의 소스 및 타겟 데이터를 정렬하면서도 알려지지 않은 클래스 샘플을 알려진 클래스로부터 멀어지게 하는 공통 부분공간을 학습할 수 있는가?
• RQ2 가짜 레이블 샘플에 대한 점진적 선택 및 거부 전략이 오류 누적을 줄이고 개방형 도메인 적응에서 일반화 성능을 향상시키는가?
• RQ3 제안된 방법이 알려진 클래스 및 알려지지 않은 클래스 정확도의 조화 평균(HOS) 측면에서 최신 기술 수준의 접근법과 비교해 어떻게 성능을 내는가?
• RQ4 하이퍼파라미터 선택, 예를 들어 $n_r$과 $T$에 대해 얼마나 강건한가?
• RQ5 t-SNE를 통해 시각화했을 때, 제안된 방법이 특징 공간에서 알려진 클래스와 알려지지 않은 클래스 샘플을 효과적으로 분리하는가?

주요 결과

• 제안된 방법은 Office-31 데이터셋에서 최신 기술 수준의 평균 HOS 87.4%와 더 도전적인 Office-Home 데이터셋에서 67.0%의 성능을 달성한다.
• 성능은 하이퍼파라미터 변화에 대해 강건하다: 특히 Office-Home에서 $d_{PCA}$와 $d$ 값의 넓은 범위에서도 최적의 HOS가 유지된다.
• $n_r$과 $T$를 증가시킬수록 알려지지 않은 클래스 정확도(UNK)는 향상되지만, 약간의 알려진 클래스 정확도(OS*) 감소가 수반되며, 이는 두 성능 간의 유연한 트레이드오프를 가능하게 한다.
• 계산적으로 효율적이며, 표준 랩탑에서 Office-31 작업은 약 14초, Office-Home 작업은 약 10분 내로 완료된다.
• t-SNE 시각화 결과, 공통 부분공간에서 알려진 클래스의 소스 및 타겟 샘플이 더 잘 정렬되어 있고, 알려지지 않은 클래스 샘플이 알려진 클래스로부터 명확히 분리되어 있음을 확인할 수 있다.
• HOS의 조화 평균에 대해 하이퍼파라미터에 민감하지 않지만, $n_r$과 $T$를 통해 OS*와 UNK 간 실용적인 트레이드오프를 여전히 구현할 수 있다.