[논문 리뷰] Beyond Domain Adaptation: Unseen Domain Encapsulation via Universal Non-volume Preserving Models

Thanh-Dat Truong, Chi Nhan Duong외 3명|arXiv (Cornell University)|2018. 12. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 5

한 줄 요약

이 논문은 학습 중 타도메인 데이터가 필요 없이도 새로운 도메인으로 일반화할 수 있도록 하는 보편적인 비체적 보존(Universal Non-volume Preserving, UNVP) 모델을 제안한다. 새로운 도메인에서의 하드하고 허구적인 예시를 반복적으로 증강함으로써, UNVP는 숫자, 얼굴, 보행자 인식 작업에서 다양한 분포에서 성능을 향상시키며, ADDA 및 ADA와 같은 최신 기법들보다 열외 도메인(예: 열화상 및 적외선 영상)에서 뛰어난 성능을 보인다.

ABSTRACT

Recognition across domains has recently become an active topic in the research community. However, it has been largely overlooked in the problem of recognition in new unseen domains. Under this condition, the delivered deep network models are unable to be updated, adapted or fine-tuned. Therefore, recent deep learning techniques, such as: domain adaptation, feature transferring, and fine-tuning, cannot be applied. This paper presents a novel Universal Non-volume Preserving approach to the problem of domain generalization in the context of deep learning. The proposed method can be easily incorporated with any other ConvNet framework within an end-to-end deep network design to improve the performance. On digit recognition, we benchmark on four popular digit recognition databases, i.e. MNIST, USPS, SVHN and MNIST-M. The proposed method is also experimented on face recognition on Extended Yale-B, CMU-PIE and CMU-MPIE databases and compared against other the state-of-the-art methods. In the problem of pedestrian detection, we empirically observe that the proposed method learns models that improve performance across a priori unknown data distributions.

연구 동기 및 목표

• 학습 중 타도메인 레이블 데이터가 필요한 도메인 적응 기법의 한계를 해결하기 위해.
• RGB에서 열화상 또는 적외선 영상과 같은 사전에 알려지지 않은 새로운 도메인으로 일반화할 수 있도록 딥 러닝 모델을 가능하게 하기 위해.
• 모든 컨volution 네트워크(CNN) 아키텍처와 호환되는 보편적이고 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 도메인 특화의 보정 또는 적응이 필요 없도록, 반복적인 데이터 증강을 통해 도메인 이동을 모델링함으로써 이를 제거하기 위해.

제안 방법

• 도메인 이동을 모델링하기 위해 특징 공간을 체적 보존하지 않는 방식으로 왜곡하는 보편적인 비체적 보존(UNVP) 레이어를 제안한다.
• 현재 모델 예측 기반으로 새로운 도메인에서의 하드하고 허구적인 예시를 생성하는 반복적인 데이터 증강 절차를 도입한다.
• 분류 정확도와 도메인 이동에 대한 강건성을 동시에 최적화하기 위해 로그우도 손실과 ℓ2 손실의 조합을 사용해 모델을 엔드 투 엔드로 학습시킨다.
• 일반화를 향상시키기 위해 학습 중에 어려운, 새로운 도메인 샘플을 시뮬레이션하는 생성 메커니즘을 활용한다.
• 엔드 투 엔드 방식으로 어떤 CNN 프레임워크와도 원활하게 통합되어 플러그 앤 플레이 방식의 성능 향상을 가능하게 한다.
• 유니버설 배경 모델(UBM)의 통찰을 활용하지만, 도메인 표현 학습을 위해 GMM 대신 딥 네트워크 기반 접근법을 도입한다.

실험 결과

연구 질문

• RQ1 학습 중 타도메인 데이터에 접근할 수 없더라도 딥 러닝 모델이 새로운 도메인으로 일반화할 수 있는가?
• RQ2 조명 변화, 모dal(예: RGB에서 열화상), 또는 영상 분포 변화와 같은 알려지지 않은 도메인 이동에 강건한 모델을 어떻게 학습시킬 수 있는가?
• RQ3 새로운 도메인에서의 하드하고 허구적인 예시를 반복적으로 증강하는 방식이 기존 도메인 적응 기법을 초월해 일반화를 향상시킬 수 있는가?
• RQ4 다양한 새로운 도메인에서 인식 작업에서 보편적인 비체적 보존 변환은 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법은 기존의 CNN 아키텍처와 호환되며 엔드 투 엔드 학습이 가능한가?

주요 결과

• Extended Yale-B 데이터셋에서, 제안된 방법은 어두운 조명 조건에서 70.09%의 얼굴 인식 정확도를 달성했으며, Pure-CNN(49.15%)와 ADA(53.08%)를 모두 초월했다.
• CMU-PIE에서, 어두운 조명 조건에서 67.87%의 정확도를 기록했으며, Pure-CNN(62.87%)와 ADA(62.69%)를 뛰어넘었다.
• CMU-MPIE에서 어두운 조건에서 98.25%의 정확도를 달성했으며, Pure-CNN(95.18%)와 ADA(96.08%)를 크게 앞서갔다.
• 열화상 영상에서의 보행자 검출 작업에서, mAP는 기준값(53.64%)에서 300개의 후보 제안을 사용할 경우 53.83%로 향상되어, 새로운 모odal에서의 효과성을 입증했다.
• 숫자 인식 작업에서, MNIST에서는 99.17%, USPS에서는 78.85%, SVHN에서는 40.22%, MNIST-M에서는 60.51%의 정확도를 기록하여 다양한 숫자 데이터셋 간 강력한 일반화 능력을 보였다.
• ADDa와 ADA는 학습 중 타도메인 데이터가 필요하지만, UNVP는 열외 도메인에서 더 뛰어난 성능을 보이며, 제로샷 도메인 일반화에서의 우수성을 입증했다.