[논문 리뷰] Domain Adaptive Neural Networks for Object Recognition

Muhammad Ghifary, W. Bastiaan Kleijn외 1명|arXiv (Cornell University)|2014. 09. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 96

한 줄 요약

이 논문은 깊이 신경망의 잠재 공간에서 소스 도메인과 타겟 도메인 간의 분포 불일치를 줄이기 위해 최대 평균 불일치(MMD)를 정규화 손실로 사용하는 도메인 적응 신경망(DaNN)을 제안한다. 이 방법은 원시 이미지 픽셀을 사용하여 Office 데이터셋에서 최신 기준 성능을 달성하며, SVM 기반 기준 모델과 GFK, TSC와 같은 최근 모델들을 능가한다. 특히 노이즈 제거 auto-encoder(DAE) 사전 훈련과 조합했을 때 성능 향상이 두드러진다.

ABSTRACT

We propose a simple neural network model to deal with the domain adaptation problem in object recognition. Our model incorporates the Maximum Mean Discrepancy (MMD) measure as a regularization in the supervised learning to reduce the distribution mismatch between the source and target domains in the latent space. From experiments, we demonstrate that the MMD regularization is an effective tool to provide good domain adaptation models on both SURF features and raw image pixels of a particular image data set. We also show that our proposed model, preceded by the denoising auto-encoder pretraining, achieves better performance than recent benchmark models on the same data sets. This work represents the first study of MMD measure in the context of neural networks.

연구 동기 및 목표

• 훈련 데이터와 테스트 데이터가 서로 다른 분포에서 온 도메인 스트레치 문제를 해결하기 위해.
• SURF와 같은 수작업 특징 추출 기법에 의존하지 않고 소스 도메인과 타겟 도메인 간의 분포 불일치를 줄이기 위해.
• 최대 평균 불일치(MMD)가 깊이 신경망의 도메인 적응을 위한 정규화로 효과적인지 조사하기 위해.
• 노이즈 제거 auto-encoder(DAE) 사전 훈련이 도메인 적응 신경망 성능에 미치는 영향을 평가하기 위해.
• 원시 이미지 픽셀에 기반한 단순하면서도 효과적인 신경망 프레임워크를 도메인 적응에 구축하기 위해.

제안 방법

• 소스 도메인과 타겟 도메인의 은닉층 표현을 정렬하기 위해 MMD 정규화를 적용한 신경망 모델을 도입한다.
• 잠재 공간에서 두 도메인 간의 분포 불일치를 비모수적 측도로 MMD를 사용한다.
• 보편적인 재생 핵 힐버트 공간(RKHS)의 단위 구를 기반으로 한 커널화된 MMD 추정기 사용.
• 역전파 동안 MMD 정규화를 적용하여 소스 및 타겟 특징 간의 분포 간격을 최소화한다.
• MMD 정규화를 통한 종단 간 최적화 이전에 노이즈 제거 auto-encoder(DAE)를 사용해 네트워크를 사전 훈련한다.
• 수작업 특징 추출 기법(예: SURF)에 의존하지 않고 원시 이미지 픽셀을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 MMD 정규화가 객체 인식을 위한 깊이 신경망에서 도메인 스트레치를 효과적으로 줄일 수 있는가?
• RQ2 원시 이미지 픽셀을 사용할 때 제안된 DaNN 모델이 Office 데이터셋에서 기존 도메인 적응 방법보다 우수한 성능을 내는가?
• RQ3 DAE 사전 훈련이 도메인 적응 신경망 성능에 어떤 영향을 미치는가?
• RQ4 MMD 정규화는 비지도 학습 또는 준지도 학습 설정에서 더 효과적인가?
• RQ5 수작업 특징 추출기 없이도 MMD 정규화를 갖춘 깊이 신경망이 잘 일반화되는가?

주요 결과

• MMD 정규화를 적용한 DaNN 모델은 Office 데이터셋에서 최신 기준 성능을 달성하며, SVM 기반 기준 모델과 GFK, TSC와 같은 모델들을 모든 도메인 적응 쌍에서 능가한다.
• 원시 이미지 픽셀을 입력으로 사용할 때, DAE 사전 훈련을 적용한 DaNN는 dslr 도메인에서 평균 정확도 77.9%를 달성하여 동일 도메인 내 최고 성능인 74.2%를 초월한다.
• MMD 정규화는 비지도 설정에서 성능 향상에 크게 기여하며, 특히 W→D(웹캠에서 dslr로) 쌍에서 가장 큰 성능 향상이 관찰된다.
• 준지도 설정에서는 DaNN과 표준 신경망 간 성능 격차가 줄어들어, 타겟 데이터의 레이블이 많아질수록 MMD 정규화의 상대적 이점이 감소함을 시사한다.
• DAE 사전 훈련은 모든 도메인 쌍에서 일관되게 성능 향상을 이끌어내며, 특히 MMD 정규화와 조합했을 때 효과가 두드러진다.
• 모델은 수작업 특징 추출기가 없이도 MMD 정규화가 원시 픽셀에 직접 적용되었을 때 강력한 성능을 내는 것으로 나타나, MMD 정규화의 효과성을 입증한다.