[논문 리뷰] Domain Adaptation with Randomized Expectation Maximization

Twan van Laarhoven, Elena Marchiori|arXiv (Cornell University)|2018. 03. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 로지스틱 회귀 또는 서포트 벡터 머신(SVM)을 사용하여 무작위화된 기대 최대화(Ad-REM)를 활용하는 단순하고 확장 가능한 도메인 적응 방법을 제안한다. 이 방법은 레이블이 없는 타겟 데이터에 대한 예측을 반복적으로 개선함으로써 최신 기술 수준(SOTA) 성능을 달성한다. 이는 36개의 다양한 텍스트 및 이미지 작업에서 복잡한 딥 트랜스퍼 러닝 방법보다 뛰어나며, 특히 사전 훈련된 네트워크에서 추출한 딥 특징을 결합할 경우 더욱 두드러진다.

ABSTRACT

Domain adaptation (DA) is the task of classifying an unlabeled dataset (target) using a labeled dataset (source) from a related domain. The majority of successful DA methods try to directly match the distributions of the source and target data by transforming the feature space. Despite their success, state of the art methods based on this approach are either involved or unable to directly scale to data with many features. This article shows that domain adaptation can be successfully performed by using a very simple randomized expectation maximization (EM) method. We consider two instances of the method, which involve logistic regression and support vector machine, respectively. The underlying assumption of the proposed method is the existence of a good single linear classifier for both source and target domain. The potential limitations of this assumption are alleviated by the flexibility of the method, which can directly incorporate deep features extracted from a pre-trained deep neural network. The resulting algorithm is strikingly easy to implement and apply. We test its performance on 36 real-life adaptation tasks over text and image data with diverse characteristics. The method achieves state-of-the-art results, competitive with those of involved end-to-end deep transfer-learning methods.

연구 동기 및 목표

• 엔드 투 엔드 딥 트랜스퍼 러닝에 비해 경쟁력 있고 고차원 데이터에 대해 확장 가능한 단순한 도메인 적응 방법을 개발하는 것.
• 기존의 도메인 불일치 기반 방법의 한계를 해결하는 것 — 특히 계산 비용이 높고 고차원 또는 도메인 이동이 발생하는 데이터에서 어려움을 겪는 점.
• 사전 훈련된 네트워크에서 추출한 딥 특징과 결합했을 때, 단순한 EM 기반 접근 방식이 레이블이 없는 타겟 데이터를 효과적으로 활용할 수 있는지 조사하는 것.
• 다양한 도메인 이동을 보이는 실제 도메인 적응 작업(텍스트 및 이미지 데이터 포함)에서의 성능를 평가하는 것.

제안 방법

• 이 방법은 레이블이 없는 타겟 데이터를 소스 데이터에 기반한 모델을 사용해 반복적으로 재라벨링하는 무작위화된 기대 최대화(EM) 프레임워크를 사용한다. 라벨 신뢰도를 활용해 후속 라운드에서 모델을 업데이트한다.
• 두 가지 변형이 제안된다: Ad-REM LR(로지스틱 회귀)와 Ad-REM SVM(서포트 벡터 머신). 둘 다 소스 데이터에서 훈련된 후, 가짜 라벨이 부여된 타겟 샘플을 통해 개선된다.
• 알고리즘은 기대 단계(타겟 데이터에 대한 클래스 확률 예측)와 최대화 단계(소스 데이터와 가짜 라벨가진 타겟 데이터를 사용해 분류기 재학습)를 번갈아 수행한다.
• 기대 최대화 과정에 무작위화를 도입하여 열악한 국소 최적점으로 수렴하는 것을 방지함으로써 강건성과 일반화 능력을 향상시킨다.
• 사전 훈련된 딥 네트워크(예: ResNet, VGG)에서 추출한 딥 특징을 직접 통합함으로써, 네트워크의 파라미터를 미세조정하지 않고도 효과적인 적응이 가능하다.
• 이 방법은 단일 선형 분류기가 소스 및 타겟 도메인 간에 일반화될 수 있다고 가정하며, 반복적 개선을 통해 도메인 이동을 효과적으로 처리할 수 있는 유연성을 가진다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 네트워크 훈련 없이도 단순한 무작위화된 EM 기반 방법이 도메인 적응에서 최신 기술 수준 성능를 달성할 수 있는가?
• RQ2 고차원 딥 특징에 적용했을 때, 제안된 Ad-REM 방법은 복잡한 딥 트랜스퍼 러닝 방법보다 어떻게 비교되는가?
• RQ3 소스 및 타겟 도메인이 의미 체계나 특징 분포의 이동이 심한 경우(예: 다양한 제품 유형 간 감성 분석), 이 방법은 여전히 효과적인가?
• RQ4 기존의 도메인 불일치 최소화 기법과 비교해 이 방법은 많은 특징을 가진 데이터셋에 대해 얼마나 확장 가능한가?
• RQ5 이 방법은 사전 훈련된 딥 특징에서 얼마나 많은 이점을 얻을 수 있으며, 이러한 특징에서 얕은 도메인 적응 기반 방법보다 뛰어나게 성능을 내는가?

주요 결과

• Ad-REM LR은 ResNet-50 특징을 사용해 Office-31 데이터셋에서 평균 정확도 96.6%를 달성했으며, 최신 기술 수준의 딥 방법인 JAN-A(84.6%)를 포함한 모든 기준선을 초월했다.
• Cross Dataset Testbed에서 Ad-REM LR은 수리된 DECAF-fc7 특징을 사용해 51.1%의 정확도를 기록했으며, 두 번째로 좋은 방법인 CORAL(43.9%)보다 뚜렷이 뛰어났다.
• Office-Caltech 10 데이터셋에서 Ad-REM LR은 ResNet-50 특징을 사용해 평균 정확도 96.7%를 달성했으며, SURF 특징을 사용한 다음 번째로 좋은 방법인 CORAL(48.8%)을 뛰어넘었다.
• 이 방법은 텍스트 및 이미지 도메인의 실제 도메인 적응 작업 36개에서 최신 기술 수준 성능를 달성했으며, 강력한 일반화 능력과 강건성을 입증했다.
• Ad-REM LR은 Office-31에서 소스 전용 기준선(91.4%)보다 평균적으로 5퍼센트 이상 높은 성능를 보였으며, 레이블이 없는 타겟 데이터의 이점이 뚜렷하게 드러났다.
• 이 방법은 매우 확장 가능하고 효율적이며, 도메인 불일치 최소화 기법의 초초차 복잡도를 피함으로써 고차원 데이터에 적합하다.