[논문 리뷰] Unsupervised Domain Adaptation with Random Walks on Target Labelings

Twan van Laarhoven, Elena Marchiori|arXiv (Cornell University)|2017. 06. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 11

한 줄 요약

이 논문은 원격 보행을 이용해 안정적인 예측을 식별하는 단순하면서도 효과적인 비지도 도메인 적응 방법인 RWA를 제안한다. 일반화 한계에서 유도된 레이블링 안정성과 방문한 레이블링들에 대한 다수결 투표를 활용하여, 원천 데이터나 특징 변환 없이 사전 훈련된 딥 특징을 사용할 때도 이미지 및 텍스트 적응 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised Domain Adaptation (DA) is used to automatize the task of labeling data: an unlabeled dataset (target) is annotated using a labeled dataset (source) from a related domain. We cast domain adaptation as the problem of finding stable labels for target examples. A new definition of label stability is proposed, motivated by a generalization error bound for large margin linear classifiers: a target labeling is stable when, with high probability, a classifier trained on a random subsample of the target with that labeling yields the same labeling. We find stable labelings using a random walk on a directed graph with transition probabilities based on labeling stability. The majority vote of those labelings visited by the walk yields a stable label for each target example. The resulting domain adaptation algorithm is strikingly easy to implement and apply: It does not rely on data transformations, which are in general computational prohibitive in the presence of many input features, and does not need to access the source data, which is advantageous when data sharing is restricted. By acting on the original feature space, our method is able to take full advantage of deep features from external pre-trained neural networks, as demonstrated by the results of our experiments.

연구 동기 및 목표

• 하나의 하위표본에 대해 훈련된 분류기가 동일한 레이블링을 생성할 확률을 정의함으로써 레이블링 안정성을 정의한다.
• 상태가 레이블링이고 전이 확률이 레이블링 안정성에 기반한 마르코프 체인을 구성한다.
• 원천 분류기의 레이블링에서 시작하여 더 안정적인 레이블링으로 수렴하는 랜덤 워크를 수행한다.
• 워크 중에 방문한 레이블링들의 다수결 투표를 각 타겟 예측의 최종 예측으로 사용한다.
• 특징 변환 또는 반복 최적화 없이 원래 특징 공간에서 작동시켜 확장성과 효율성을 확보한다.
• 사전 훈련된 네트워크의 딥 특징을 직접 레이블링 과정에 통합함으로써 고성능의 적응을 가능하게 한다.

제안 방법

• 원천 데이터나 데이터 변환 없이도 일반화 한계를 통해 정의된 레이블링 안정성을 도메인 적응에 활용할 수 있는지 여부를 검증한다.
• 레이블링에 대한 랜덤 워크를 통해 비정상적인 예측을 식별하고 일관성 있는 예측을 도출할 수 있는지 탐색한다.
• 피팅 없이도 사전 훈련된 딥 특징을 효과적으로 활용할 수 있는지 범위를 조사한다.
• 반복 최적화 없이 다수결 투표를 통한 단순한 비반복 방법이 복잡한 딥 러닝 기반 도메인 적응 모델을 능가할 수 있는지 평가한다.

실험 결과

연구 질문

• RQ1 일반화 한계를 통해 정의된 레이블링 안정성은 원천 데이터나 데이터 변환 없이 도메인 적응을 이끄는 데 사용될 수 있는가?
• RQ2 레이블링에 대한 랜덤 워크는 비정상적인 타겟 데이터에 대해 강건하고 일관된 예측을 식별하는 데 어떻게 활용될 수 있는가?
• RQ3 피팅 없이도 사전 훈련된 딥 특징을 비지도 도메인 적응에서 효과적으로 활용할 수 있는 정도는 어느 정도인가?
• RQ4 다수결 투표를 통한 단순하고 비반복적인 방법이 복잡한 딥 러닝 기반 도메인 적응 모델을 능가할 수 있는가?

주요 결과

• RWA는 이미지 및 텍스트 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성하며, 얕은 방법과 복잡한 딥 러닝 모델을 모두 능가한다.
• Office-Home 및 Amazon 데이터셋에서 RWA는 딥 특징을 사용할 때 정확도를 최대 13.5个百分点 향상시켰다 (예: A→W에서 77.1%에서 90.6%로).
• Cross Dataset Testbed에서 RWA는 평균 정확도 48.5%를 기록하여 다음으로 좋은 방법인 CORAL(43.9%)을 크게 앞서며 성능을 뛰어넘었다.
• 하이퍼파라미터 선택에 대해 매우 강건하며, 런에 따른 변동성이 낮아 표준편차가 0.1(예: Amazon 데이터셋 기준)에 머물러 일관된 성능을 보였다.
• 원천 데이터 접근이나 특징 변환 없이도 엔드 투 엔드 딥 러닝 모델과 유사한 성능을 달성한다.
• 특히 Caltech256에서 ImageNet으로의 어려운 전이 작업에서 RWA는 정확도를 10个百分点 이상 향상시켰다.