[논문 리뷰] Stretching Domain Adaptation: How far is too far?

Yunhan Zhao, Haider Ali외 1명|arXiv (Cornell University)|2017. 12. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 5

한 줄 요약

이 논문은 스케치에서 실사 이미지로의 전이와 같은 극단적인 경우를 포함해 교차 모odal 도메인 적응을 평가하고 향상시키기 위해 새로운 데이터셋 세트와 Deep MagNet 프레임워크를 제안한다. Deep MagNet은 여러 MMD 손실과 전이층을 사용하여 도메인 간 특징 정렬을 향상시키며, 모든 벤치마크 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

While deep learning has led to significant advances in visual recognition over the past few years, such advances often require a lot of annotated data. Unsupervised domain adaptation has emerged as an alternative approach that does not require as much annotated data, prior evaluations of domain adaptation approaches have been limited to relatively similar datasets, e.g source and target domains are samples captured by different cameras. A new data suite is proposed that comprehensively evaluates cross-modality domain adaptation problems. This work pushes the limit of unsupervised domain adaptation through an in-depth evaluation of several state of the art methods on benchmark datasets and the new dataset suite. We also propose a new domain adaptation network called "Deep MagNet" that effectively transfers knowledge for cross-modality domain adaptation problems. Deep Magnet achieves state of the art performance on two benchmark datasets. More importantly, the proposed method shows consistent improvements in performance on the newly proposed dataset suite.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인이 점점 더 다를수록 존재하는 비지도 도메인 적응 방법을 시험해보기 위해.
• 스케치에서 실사 이미지로의 전이와 같은 교차 모달 작업에 적용했을 때 현재 최신 기술 수준의 방법들이 보이는 한계를 규명하기 위해.
• 극단적인 도메인 시프트 상황에서 도메인 적응을 평가하기 위한 종합적인 벤치마크 데이터셋 세트를 제공하기 위해.
• 다양한 도메인 시프트 상황에서 뛰어난 일반화 성능을 보이는 새로운 도메인 적응 네트워크인 Deep MagNet을 제안하기 위해.
• 기존의 전통적이고 매우 도전적인 교차 모달 적응 작업 모두에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 실사-실사(Pascal 3D+), 실사-CAD(ShapeNet), 실사-스케치(Sketch-250 및 Caltech-256)의 세 가지 도메인 시프트 수준을 가진 새로운 데이터셋 세트를 제안한다.
• 분류기 가중치 외에도 컨볼루션 필터 수준에서도 지식 전이를 강제하는 도메인 적응 네트워크인 Deep MagNet을 도입한다.
• 소스 도메인과 타겟 도메인 간의 특징 분포를 정렬하기 위해 네트워크의 다양한 레이어에서 다중 Maximum Mean Discrepancy(MMD) 손실 함수를 사용한다.
• 고수준 특징의 효과적인 MMD 기반 도메인 정렬을 위해 밀집 블록 간에 전이층을 통합한다.
• 사전 훈련된 ImageNet 모델(예: DenseNet-121, ResNet-152)을 백본으로 사용하고, 도메인 적응 손실을 통해 미세조정한다.
• 기존의 MMD 또는 적대적 방법과 독립적인 아키텍처 설계를 하여 향후 다른 손실 함수와의 통합이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 사람이 그린 스케치에서 실사 이미지로의 전이와 같은 극단적인 도메인 시프트 상황에서 현재 최신 기술 수준의 도메인 적응 방법은 어떻게 성능을 내는가?
• RQ2 CAD 렌더링과 실사 환경처럼 시각적 외관이 극명하게 다른 도메인 간 지식 전이 시 기존의 도메인 적응 방법이 어느 정도 실패하는가?
• RQ3 통합된 도메인 적응 프레임워크는 실사-실사에서 스케치-실사에 이르기까지 다양한 수준의 도메인 시프트 상황에서도 강력한 성능을 유지할 수 있는가?
• RQ4 매우 다를 수 있는 도메인 간에 도메인 불변 특징을 유지하는 데 가장 효과적인 아키텍처 구성 요소는 무엇인가?
• RQ5 다중 MMD 손실과 전이층을 통한 다중 수준의 특징 정렬은 단일 수준의 정렬보다 더 강력하고 일반화 능력이 뛰어난 도메인 적응을 이끌 수 있는가?

주요 결과

• Deep MagNet은 Office-31, Office-Caltech와 같은 표준 벤치마크와 새로 제안된 데이터셋 세트에서 모두 최신 기술 수준의 성능을 달성한다.
• 스케치-실사 이미지 전이 작업에서의 평균 정확도는 모든 평가 작업 중에서 가장 낮아, 이 작업의 극도로 어려운 성격을 확인한다.
• RTN, CORAL, JAN보다 모든 전이 작업에서 성능이 뛰어나며, 특히 스케치-실사 및 CAD-실사 전이 작업에서 두드러진 성능 향상을 보인다.
• 동일한 적응 프rotocol 하에서 더 깊은 모델(DenseNet-121, ResNet-152)이 얕은 모델(AlexNet)보다 더 높은 정확도를 보인다.
• RTN은 실사-실사 작업에서는 잘 작동하지만 교차 모달 작업에서는 성능이 크게 떨어지며, 이는 공간적 및 픽셀 수준의 일관성에 과도하게 의존하고 있음을 시사한다.
• Deep MagNet의 전이층은 밀집 블록에서 유도된 특징의 효과적인 적응을 가능하게 하여, 백본 모델을 교체해도 일관된 성능을 유지한다.