[논문 리뷰] An Extended Framework for Marginalized Domain Adaptation

Gabriela Csurka, Boris Chidlovskii외 2명|arXiv (Cornell University)|2017. 02. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 5

한 줄 요약

이 논문은 도메인 및 클래스 정규화를 통한 노이즈 제거 오토인코더를 활용하여 도메인 불변 특징과 분류기를 동시에 학습하는 확장된 민간화된 도메인 적응 프레임워크를 제안한다. $AX = B$와 같은 폐쇄형 선형 행렬 시스템과 $AX + XB = C$의 반복적 해법을 통해 비지도, 지도, 준지도 설정에서 최신 기술 수준의 성능을 달성하면서도 계산 효율성을 확보한다.

ABSTRACT

We propose an extended framework for marginalized domain adaptation, aimed at addressing unsupervised, supervised and semi-supervised scenarios. We argue that the denoising principle should be extended to explicitly promote domain-invariant features as well as help the classification task. Therefore we propose to jointly learn the data auto-encoders and the target classifiers. First, in order to make the denoised features domain-invariant, we propose a domain regularization that may be either a domain prediction loss or a maximum mean discrepancy between the source and target data. The noise marginalization in this case is reduced to solving the linear matrix system $AX=B$ which has a closed-form solution. Second, in order to help the classification, we include a class regularization term. Adding this component reduces the learning problem to solving a Sylvester linear matrix equation $AX+BX=C$, for which an efficient iterative procedure exists as well. We did an extensive study to assess how these regularization terms improve the baseline performance in the three domain adaptation scenarios and present experimental results on two image and one text benchmark datasets, conventionally used for validating domain adaptation methods. We report our findings and comparison with state-of-the-art methods.

연구 동기 및 목표

• 명시적인 데이터 손상 없이 도메인 이동 문제를 해결하기 위해 도메인 불변 표현을 학습한다.
• 비지도, 지도, 준지도 도메인 적응 설정을 지원하기 위해 민간화된 노이즈 제거 오토인코더(MDA) 프레임워크를 확장한다.
• 도메인 불변 특징 학습을 촉진하기 위해 도메인 예측 손실과 최대 평균 차이(MMD)라는 두 가지 정규화 메커니즘을 도입한다.
• 클래스 정규화 항을 통해 특징 노이즈 제거와 분류기 학습을 동시에 최적화하여 타겟 예측 성능을 향상시킨다.
• 폐쇄형 또는 반복적 해법을 사용하는 선형 행렬 방정식으로 문제를 축소함으로써 계산 효율성을 유지한다.

제안 방법

• 노이즈 민간화를 오토인코더에 적용하여 반복적인 손상 샘플링 없이도 노이즈 제거 특징을 폐쇄형으로 계산할 수 있도록 한다.
• 도메인 예측 손실(대비적 스타일) 또는 MMD를 사용하여 도메인 정규화를 도입하여 소스 및 타겟 도메인 분포를 정렬한다.
• 분류기 학습을 포함할 경우 연합 최적화를 실리우스 행렬 방정식 $AX + XB = C$로 공식화하고, 효율적인 반복적 방법으로 해결한다.
• 비지도(단지 레이블이 없는 타겟 데이터), 지도(레이블이 있는 타겟 데이터), 준지도(양쪽 모두) 설정에 동일한 프레임워크를 적용한다.
• 한 층의 노이즈 제거 특징을 다음 층의 입력으로 사용함으로써 다층 스택 구조를 가능하게 하여 단순한 순방향 전파만으로 비선형 표현을 구현한다.
• 백프로파게이션과 GPU 집약적 훈련을 피하고, 행렬 시스템 해법기반으로 의존함으로써 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 비지도 및 준지도 설정에서 명시적인 도메인 정규화를 갖춘 노이즈 제거 오토인코더를 통해 도메인 불변 특징를 효과적으로 학습할 수 있는가?
• RQ2 특징 노이즈 제거와 분류기 학습을 동시에 최적화함으로써 교차 도메인 분류 작업에서 일반화 성능이 어떻게 향상되는가?
• RQ3 정확도와 계산 비용 측면에서 기존의 특징 변환 및 딥 도메인 적응 방법에 비해 제안된 프레임워크가 얼마나 뛰어나게 성능을 내는가?
• RQ4 백프로파게이션을 사용하지 않고 선형 시스템 해법기반으로만 운영할 경우에도 프레임워크가 높은 성능을 유지할 수 있는가?
• RQ5 도메인 예측 손실과 MMD라는 서로 다른 도메인 정규화 전략이 도메인 불변성과 분류 정확도 향상에 어떻게 영향을 미치는가?

주요 결과

• 제안된 S1M 방법은 OC10 데이터셋에서 86.5%의 정확도를 달성하여 도메인 적응 SVM(70.3%)과 보조 분류기 방법(84%)을 능가했지만, JDA와 TTM(87.5%)에는 약간 미치지 못했다.
• OFF31 데이터셋에서 L12 + NN 방법은 평균 정확도 64.3%를 기록하여 GFK+SVM(49.1%), SA+SVM(49.1%), TCA+SVM(50.9%), CORAL+SVM(64.0%)를 초월했다.
• L1D + RDG 변형은 OFF31에서 평균 정확도 65.3%를 달성하여 대부분의 특징 변환 기반 베이스라인을 뛰어넘었고, DAN(72.9%)과 비슷한 성능에 가까이 다가섰다.
• AMT에서 L1D + Zl 방법은 82.2%의 정확도를 기록하여 5층 스태킹된 MDA와 30,000차원 특징을 사용하는 더 복잡한 DANN 모델과 유사한 성능을 보였다.
• 준지도 설정에서 L12C + DSCM 방법은 BOV 특징을 사용해 OC10에서 55.8%의 정확도를 기록했으며, GFK(48.6%), SA(53.6%), MMDT(52.5%)를 모두 뛰어넘었다.
• 백프로파게이션에 의존하지 않고 선형 시스템을 푸는 방식을 통해 높은 효율성을 유지하여 대규모 데이터에서도 빠른 훈련과 추론이 가능하다.