[논문 리뷰] Network Architecture Search for Domain Adaptation

Yichen Li, Xingchao Peng|arXiv (Cornell University)|2020. 08. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 81인용 수 11

한 줄 요약

이 논문은 다중 커널 최대 평균 차이(MK-MMD)를 통해 소스 도메인 검증 손실과 도메인 간 차이를 동시에 최적화하는, 비가역적 신경망 아키텍처 탐색 프레임워크인 NASDA를 제안한다. 이는 작업별 특화된 아키텍처를 탐색하고, 다양한 분류기와의 적대적 훈련을 통해 특징 생성기를 통합함으로써 여러 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep networks have been used to learn transferable representations for domain adaptation. Existing deep domain adaptation methods systematically employ popular hand-crafted networks designed specifically for image-classification tasks, leading to sub-optimal domain adaptation performance. In this paper, we present Neural Architecture Search for Domain Adaptation (NASDA), a principle framework that leverages differentiable neural architecture search to derive the optimal network architecture for domain adaptation task. NASDA is designed with two novel training strategies: neural architecture search with multi-kernel Maximum Mean Discrepancy to derive the optimal architecture, and adversarial training between a feature generator and a batch of classifiers to consolidate the feature generator. We demonstrate experimentally that NASDA leads to state-of-the-art performance on several domain adaptation benchmarks.

연구 동기 및 목표

• 수동으로 설계된 딥 네트워크가 도메인 적응에서 최적의 성능을 내지 못하는 문제를 해결하기 위해 작업별 특화된 아키텍처 탐색 프레임워크를 설계한다.
• 아키텍처 탐색 과정에서 소스 도메인 검증 손실과 소스 및 타겟 도메인 간 도메인 간 차이를 동시에 최소화한다.
• 다양한 분류기와의 적대적 훈련을 통해 특징 생성기의 강건성을 향상시킨다.
• 도메인 이동된 데이터 간 전이 학습에 최적화된 신경망 아키텍처를 자동으로 탐색할 수 있도록 한다.

제안 방법

• 소스 검증 손실과 다중 커널 최대 평균 차이(MK-MMD)로 측정된 도메인 간 차이를 동시에 고려하는 이중 최적화 프레임워크를 제안한다.
• 다양한 아키텍처 탐색(DARTS 스타일)을 통해 이산적 탐색 공간을 연속적 공간으로 이assen하여 아키텍처 파라미터의 기울기 기반 최적화를 가능하게 한다.
• 탐색된 아키텍처에서 유도된 특징 생성기를 사용해 도메인 불변 특징을 생성하며, 도메인 간 차이를 재생 핵 힐버트 공간에서 최소화한다.
• 최대 분류기 차이(MCD) 프레임워크를 영감으로 받아 특징 생성기와 분류기의 배치 간 적대적 훈련을 도입하여 일반화 성능을 향상시킨다.
• 두 단계 훈련 프로세스를 사용한다: 첫 번째 단계는 소스 검증 및 도메인 간 차이에 대한 공동 지도 학습을 통한 아키텍처 탐색; 두 번째 단계는 적대적 훈련을 통한 특징 생성기 통합.
• T-SNE 시각화를 통해 훈련 중 분류기의 분산을 확인하여, 적대적 훈련 단계의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 일반 분류가 아닌 도메인 적응에 특화된 신경망 아키텍처 탐색 프레임워크를 설계할 수 있는가?
• RQ2 소스 검증 손실과 도메인 간 차이를 동시에 최소화하면 전이 성능가 향상되는가?
• RQ3 다양한 분류기와의 적대적 훈련이 무 supervision 도메인 적응에서 특징 생성기의 강건성과 일반화 능력을 향상시키는가?
• RQ4 제안된 NASDA 프레임워크가 기존의 NAS 기반 모델과 최신 기술 수준의 도메인 적응 방법을 초월할 수 있는가?

주요 결과

• NASDA는 여러 unsupervised domain adaptation 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존의 NAS 기반 모델과 SOTA 방법을 모두 능가한다.
• 다양한 분류기와의 적대적 훈련 단계는 타겟 도메인 정확도를 크게 향상시키지만, 소스 도메인 성능에 거의 영향을 주지 않는다.
• T-SNE 시각화 결과, 훈련 중 분류기가 분산됨을 확인하여, 적대적 훈련 전략이 다양성을 촉진하는 데 효과적임을 검증한다.
• 분류기 수를 늘릴수록 타겟 정확도는 향상되지만, 계산 비용이 제곱적으로 증가하므로 실용적인 균형을 고려해 N=4를 선택한다.
• 단일 커널 대비 다중 커널 MMD를 사용함으로써 소스 및 타겟 특징 간 보다 효과적인 정렬이 가능함을 확인한다.