[논문 리뷰] Modified Distribution Alignment for Domain Adaptation with Pre-trained Inception ResNet

Youshan Zhang, Brian D. Davison|arXiv (Cornell University)|2019. 04. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 13

한 줄 요약

이 논문은 사전 훈련된 Inception ResNet-v2 모델에서 추출한 특징을 사용하여 비지도 도메인 적응을 위한 수정된 분포 정렬(MDA)을 제안한다. 마지막 완전 연결층에서 유도된 고품질의 특징을 활용하고 수정된 분포 정렬 방법을 적용함으로써, Office+Caltech-10, Office-31, Office-Home 데이터셋에서 각각 4.8%, 5.5%, 10%의 최신 기술 수준(SOTA) 정확도 향상을 달성한다.

ABSTRACT

Deep neural networks have been widely used in computer vision. There are several well trained deep neural networks for the ImageNet classification challenge, which has played a significant role in image recognition. However, little work has explored pre-trained neural networks for image recognition in domain adaption. In this paper, we are the first to extract better-represented features from a pre-trained Inception ResNet model for domain adaptation. We then present a modified distribution alignment method for classification using the extracted features. We test our model using three benchmark datasets (Office+Caltech-10, Office-31, and Office-Home). Extensive experiments demonstrate significant improvements (4.8%, 5.5%, and 10%) in classification accuracy over the state-of-the-art.

연구 동기 및 목표

• 기존 연구에서 대부분 간과되었던 사전 훈련된 Inception ResNet-v2 특징의 도메인 적응 응용을 탐색한다.
• Inception ResNet-v2의 마지막 완전 연결층에서 특징을 추출하여 더 풍부한 특징 정보를 확보함으로써 특징 표현 품질을 향상시킨다.
• 소스 도메인과 타겟 도메인의 특징 분포를 더 잘 정렬하여 분류 정확도를 향상시키기 위해 수정된 분포 정렬 방법을 개발한다.
• 기존 최신 기술 수준의 방법들과 비교하여 표준 도메인 적응 벤치마크에서 뚜렷한 성능 향상을 입증한다.

제안 방법

• 사전 훈련된 Inception ResNet-v2 모델의 마지막 완전 연결층에서 특징을 추출하여, DeCAF와 같은 다른 특징 추출기나 이전 레이어보다 더 풍부하고 구분력 있는 표현을 확보한다.
• 소스 도메인과 타겟 도메인의 균일 분포와 조건부 분포를 특징 공간에서의 분포 차이를 최소화함으로써 정렬하는 수정된 분포 정렬(MDA) 방법을 제안한다.
• 학습 안정성과 일반화 성능 향상을 위해 하이퍼파ram터 λ, ρ, p, η를 포함한 정규화 항을 도입하며, 모든 실험에서 일관된 값을 사용한다.
• t-SNE 시각화를 통해 특징 클러스터링 품질을 비교하여, MDAIR가 기준 방법보다 더 깔끔하고 분리 가능한 클래스 경계를 생성함을 확인한다.
• 동일한 특징 추출기와 정렬 방법을 사용하여 세 가지 벤치마크 데이터셋인 Office+Caltech-10, Office-31, Office-Home에 적용한다.
• DANN, CDAN, MEDA와 같은 최신 기술 수준의 모델과 동일한 IR 특징을 사용하여 비교함으로써, 수정된 정렬 방법의 기여도를 고립하여 평가한다.

실험 결과

연구 질문

• RQ1 기존 특징 추출기인 DeCAF나 SURF와 비교해, 사전 훈련된 Inception ResNet-v2 모델에서 추출한 특징이 도메인 적응 성능 향상에 뚜렷한 기여를 할 수 있는가?
• RQ2 Inception ResNet-v2의 마지막 완전 연결층이 도메인 적응 작업에서 특징 추출에 최적의 레이어인가?
• RQ3 제안된 수정된 분포 정렬 방법이 표준 벤치마크에서 기존의 분포 정렬 및 적대적 도메인 적응 기법을 초월하는가?
• RQ4 특징 표현의 품질이 비지도 도메인 적응에서 최종 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• Office+Caltech-10 데이터셋에서 MDAIR 모델은 최고의 기준 방법 대비 4.8%p의 절대 정확도 향상을 기록했으며, 평균 정확도는 96.7%를 달성했다.
• Office-31 데이터셋에서는 기준 방법 대비 5.5%p 향상되어 평균 정확도 89.8%를 기록했다.
• 더 도전적인 Office-Home 벤치마크에서는 MDAIR 모델이 10%p 향상되어 평균 정확도 72.8%를 달성했으며, 이는 이전 모든 방법들을 압도했다.
• t-SNE 시각화 결과, 동일한 특징을 사용하더라도 MDAIR가 기준 방법보다 더 깔끔하고 분리 가능한 클래스 클러스터를 생성함을 확인했다.
• Inception ResNet-v2의 마지막 완전 연결층은 다중 수준의 표현을 통합하므로, 이전 레이어나 분류 레이어보다 열등한 특징을 제공하지 않으며, 더 우수한 특징을 생성한다.
• 모델의 성능은 특징 품질에 민감하며, 더 높은 정확도를 보이는 사전 훈련된 모델을 사용할 경우 성능 향상이 더욱 뚜렷할 수 있다.