[논문 리뷰] Domain Adaptation via Maximum Independence of Domain Features

Ke Yan, Lu Kou외 1명|arXiv (Cornell University)|2016. 03. 15.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 장치 레이블과 데이터 수집 시간과 같은 도메인 특성에 대해 최대한 독립적인 특징을 학습시음으로써 도메인 분포의 변화를 줄이는 최대 독립성 도메인 적응(MIDA)을 제안한다. 공유된 특징과 도메인 특징 간의 독립성을 강제함으로써 MIDA는 이산적이고 연속적인 도메인 분포의 변화를 효과적으로 다룰 수 있으며, 레이블 정보를 활용하는 준감독형 확장인 SMIDA를 통해 다양한 센서, 측정 및 컴퓨터 비전 작업에서 뛰어난 성능을 보여준다.

ABSTRACT

When the distributions of the source and the target domains are different, domain adaptation techniques are needed. For example, in the field of sensors and measurement, discrete and continuous distributional change often exist in data because of instrumental variation and time-varying sensor drift. In this paper, we propose maximum independence domain adaptation (MIDA) to address this problem. Domain features are first defined to describe the background information of a sample, such as the device label and acquisition time. Then, MIDA learns features which have maximal independence with the domain features, so as to reduce the inter-domain discrepancy in distributions. A feature augmentation strategy is designed so that the learned projection is background-specific. Semi-supervised MIDA (SMIDA) extends MIDA by exploiting the label information. The proposed methods can handle not only discrete domains in traditional domain adaptation problems but also continuous distributional change such as the time-varying drift. In addition, they are naturally applicable in supervised/semi-supervised/unsupervised classification or regression problems with multiple domains. This flexibility brings potential for a wide range of applications. The effectiveness of our approaches is verified by experiments on synthetic datasets and four real-world ones on sensors, measurement, and computer vision.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인이 다른 데이터 분포를 보일 때 기계 학습에서 도메인 분포의 변화 문제를 해결하기 위해.
• 이산적 도메인 분포의 변화(예: 다양한 센서)와 연속적 변화(예: 시간에 따라 변하는 센서 드프트)를 모두 모델링하기 위해.
• 레이블이 없는 타겟 데이터에 의존하지 않고 도메인 불변 표현을 학습하기 위해.
• 더 넓은 적용 가능성을 위해 준감독 및 감독 설정으로 접근법을 확장하기 위해.
• 분류 및 회귀 문제에 모두 적용 가능한 통합된 프레임워크를 제공하기 위해.

제안 방법

• 장치 식별자와 데이터 수집 시간과 같은 배경 정보를 포괄하는 도메인 특징을 정의하기 위해.
• 공유된 특징과 도메인 특징 간의 통계적 독립성을 최대화하는 손실 함수를 설정하기 위해.
• 각 배경에 특화된 투영을 만들기 위해 특징 증강 전략을 사용하여 도메인 일반화를 향상시키기 위해.
• 신경망 기반의 투영을 적용하여 도메인 특징에 대한 의존도를 최소화하면서도 불변 표현을 학습하기 위해.
• 레이블이 있는 타겟 데이터를 통합하여 준감독 설정에서 성능을 향상시키기 위해 MIDA를 SMIDA로 확장하기 위해.
• 기울기 기반 최적화 방법을 사용하여 도메인 의존도를 최소화하면서도 예측 능력을 유지하기 위해 모델을 최적화하기 위해.

실험 결과

연구 질문

• RQ1 도메인 특성에 대해 최대한 독립적인 특징을 학습시킴으로써 도메인 불변 표현을 얻을 수 있는가?
• RQ2 시간에 따라 변화하는 센서 드프트와 같은 연속적 도메인 분포 변화에 대해 이 방법은 얼마나 잘 일반화되는가?
• RQ3 이 접근법은 최소한의 가정으로 준감독 및 감독 학습 설정으로 확장될 수 있는가?
• RQ4 특징 증강 전략은 배경에 따라 특화된 적응에서 성능 향상에 기여하는가?
• RQ5 실제 센서 및 비전 데이터셋에서 MIDA는 기존의 도메인 적응 방법보다 어떻게 비교되는가?

주요 결과

• MIDA는 도메인 특징에 대해 최대한 독립적인 특징을 학습시킴으로써 도메인 간 일반화 능력을 향상시키며 도메인 분포의 변화를 효과적으로 줄인다.
• 이 방법은 이산적 도메인과 시간에 따라 변화하는 센서 드프트와 같은 연속적 분포 변화 모두에 잘 일반화된다.
• 준감독형 변종인 SMIDA는 제한된 레이블이 있는 타겟 데이터를 활용하여 성능을 향상시킨다.
• 이 방법은 센서, 측정 및 컴퓨터 비전 분야의 네 개의 실세계 데이터셋에서 뛰어난 성능을 기록한다.
• 특징 증강 전략은 도메인 특화된 적응을 향상시켜 강건성과 성능을 모두 향상시킨다.