[논문 리뷰] Domain Generalization for Object Recognition with Multi-task Autoencoders

Muhammad Ghifary, W. Bastiaan Kleijn외 2명|arXiv (Cornell University)|2015. 08. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 50

한 줄 요약

이 논문은 자연적으로 발생하는 도메인 변형을 재구성함으로써 도메인 불변 특징을 학습하는 Multi-Task Autoencoder (MTAE) 및 그 노이즈 제거 변형(D-MTAE)을 제안한다. 이는 객체 인식에서 도메인 일반화를 위해 개선된 성능을 달성하며, VLCS 및 Office+Caltech 데이터셋에서 SOTA 정확도를 달성한다. 이는 특징 학습 중에 상호 도메인 외형 변환을 명시적으로 모델링함으로써 달성된다.

ABSTRACT

The problem of domain generalization is to take knowledge acquired from a number of related domains where training data is available, and to then successfully apply it to previously unseen domains. We propose a new feature learning algorithm, Multi-Task Autoencoder (MTAE), that provides good generalization performance for cross-domain object recognition. Our algorithm extends the standard denoising autoencoder framework by substituting artificially induced corruption with naturally occurring inter-domain variability in the appearance of objects. Instead of reconstructing images from noisy versions, MTAE learns to transform the original image into analogs in multiple related domains. It thereby learns features that are robust to variations across domains. The learnt features are then used as inputs to a classifier. We evaluated the performance of the algorithm on benchmark image recognition datasets, where the task is to learn features from multiple datasets and to then predict the image label from unseen datasets. We found that (denoising) MTAE outperforms alternative autoencoder-based models as well as the current state-of-the-art algorithms for domain generalization.

연구 동기 및 목표

• 테스트 데이터가 미리보지 않은 도메인에서 올 경우 발생하는 데이터셋 편향으로 인한 객체 인식의 일반화 능력 부족 문제를 해결한다.
• 목표 도메인 데이터 없이도 일반화하지 못하는 표준 오토인코더 및 기존 도메인 일반화 방법의 한계를 극복한다.
• 시점, 조명, 스케일 등의 실제 세계의 변형에 대한 불변성을 암묵적으로 학습할 수 있는 특징 학습 프레임워크를 개발한다.
• 다양한 소스 도메인에서 훈련함으로써 다중 작업 재구성 목표를 사용하여, 새로운 도메인에서의 일반화 성능을 향상시킨다.
• 자연적인 도메인 이동을 재구성 목표로 모델링할 경우, 노이즈 제거 오토인코더에서 사용하는 인위적 노이즈보다 더 뛰어난 내성적 저항성을 확보할 수 있음을 입증한다.

제안 방법

• 각 작업가 자연적으로 발생하는 도메인 이동을 사용하여 다른 도메인에서 입력 이미지를 재구성하는 다중 작업 오토인코더(MTAE)를 훈련한다.
• 노이즈 제거 오토인코더에서 인위적 손상을 제거하고, 실제 도메인 전환(예: 회전, 스케일링, 조명 변화)을 손상 신호로 사용한다.
• 입력 이미지에서 특징를 추출하기 위해 공유 인코더를 사용한 후, 각 도메인 전용 디코더를 사용하여 각 타겟 도메인에서 이미지를 재구성한다.
• 모델을 최적화하기 위해 모든 도메인에서 원본 이미지와 재구성된 이미지 간의 차이를 최소화하는 재구성 손실을 사용한다.
• 재구성된 이미지에 노이즈 제거 기준을 적용하여 자연 이미지 변형에 대한 내성적 저항성을 향상시키는 노이즈 제거 변형(D-MTAE)을 도입한다.
• MTAE가 추출한 공유 특징를 사용하여 최종 분류기의 미세조정을 수행함으로써, 새로운 도메인에 대한 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 자연적인 도메인 변형을 재구성 목표로 모델링할 경우, 인위적 노이즈보다 새로운 도메인에서의 특징 일반화 능력이 향상되는가?
• RQ2 도메인 전용 재구성 헤드를 사용한 다중 작업 학습이 표준 오토인코더나 메트릭 학습 접근법보다 더 불변성을 갖춘 특징를 생성하는가?
• RQ3 VLCS 및 Office+Caltech 데이터셋에서, 표준 오토인코더나 메트릭 학습 접근법보다 MTAE 방법이 Undo-Bias, UML, LRE-SVM 등의 최신 도메인 일반화 모델보다 성능이 뛰어나게 되는가?
• RQ4 MTAE의 노이즈 제거 변형(D-MTAE)이 내성적 저항성과 일반화 성능을 추가로 향상시키는가?
• RQ5 MTAE를 통해 학습된 공유 특징가 VLCS 및 Office+Caltech와 같은 벤치마크 데이터셋에서 객체 인식의 데이터셋 편향을 어느 정도 감소시키는가?

주요 결과

• D-MTAE는 VLCS 데이터셋에서 모든 이전 SOTA 방법을 초월하여 네 가지 크로스 도메인 케이스에서 평균 정확도가 가장 높다.
• Office+Caltech 데이터셋에서는 D-MTAE+1HNN이 네 가지 크로스 도메인 케이스 중 두 곳에서 최고 성능을 기록하고 나머지 두 곳에서는 두 번째로 높은 순위를 기록하며, 평균적으로 LRE-SVM을 능가한다.
• 표준 DeCAF-6 특징를 사용한 경우, 진짜 정확도와 크로스 도메인 성능 간의 격차가 14%를 초과하여 심각한 데이터셋 편향이 존재함을 확인한다.
• 명시적인 목표 도메인 데이터 없이도 MTAE 및 D-MTAE는 이 편향을 상당히 감소시켜 효과적인 도메인 일반화를 보여준다.
• VLCS에서 공유 클래스가 오직 5개 뿐임에도 불구하고 SOTA 결과를 달성함으로써 강력한 불변성 학습 능력을 입증한다.
• 절단 분석 결과 D-MTAE는 표준 MTAE보다 일관되게 뛰어난 성능을 보이며, 자연 이미지 변형을 다룰 때 노이즈 제거 기준의 유용성을 확인한다.