[논문 리뷰] One-Shot Adaptation of Supervised Deep Convolutional Models

Judy Hoffman, Eric Tzeng외 4명|arXiv (Cornell University)|2013. 12. 24.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 다양한 데이터셋으로 훈련된 대규모 지도 학습 딥 컨볼루션 네트워크가 최소한의 적응으로 새로운 도메인으로 일반화할 수 있는지 조사한다. 각 클래스당 하나의 레이블된 예제만을 사용하는 일회성 적응 방법을 제안하며, 시각적 도메인 적응 벤치마크에서 뚜렷한 성능 향상을 보여주어 데이터셋 편향이 여전히 존재하지만, 최소한의 데이터로 효과적인 적응이 가능하다는 것을 보여준다.

ABSTRACT

Dataset bias remains a significant barrier towards solving real world computer vision tasks. Though deep convolutional networks have proven to be a competitive approach for image classification, a question remains: have these models have solved the dataset bias problem? In general, training or fine-tuning a state-of-the-art deep model on a new domain requires a significant amount of data, which for many applications is simply not available. Transfer of models directly to new domains without adaptation has historically led to poor recognition performance. In this paper, we pose the following question: is a single image dataset, much larger than previously explored for adaptation, comprehensive enough to learn general deep models that may be effectively applied to new image domains? In other words, are deep CNNs trained on large amounts of labeled data as susceptible to dataset bias as previous methods have been shown to be? We show that a generic supervised deep CNN model trained on a large dataset reduces, but does not remove, dataset bias. Furthermore, we propose several methods for adaptation with deep models that are able to operate with little (one example per category) or no labeled domain specific data. Our experiments show that adaptation of deep models on benchmark visual domain adaptation datasets can provide a significant performance boost.

연구 동기 및 목표

• 실세계 컴퓨터 비전 응용을 위한 딥 러닝에서 데이터셋 편향 문제를 해결한다.
• 다양한 데이터로 훈련된 대규모 지도 학습 컨볼루션 네트워크가 여전히 데이터셋 편향을 앓는지 조사한다.
• 대상 도메인에서 레이블된 데이터를 거의 또는 전혀 필요로 하지 않는 적응 기법을 개발한다.
• 카테고리당 하나의 레이블된 예제만을 사용하여 깊이 학습 모델을 새로운 이미지 도메인으로 효과적으로 전이할 수 있도록 한다.

제안 방법

• 일반적인 딥 컨볼루션 네트워크를 대규모 레이블된 데이터셋으로 훈련하여 일반화 가능한 특징을 학습한다.
• 대상 도메인에서 클래스당 하나의 레이블된 예제만을 사용하여 모델를 미세조정하는 도메인 적응 기법을 적용한다.
• 최소한의 감독으로 소스 도메인과 타겟 도메인의 분포를 특징 공간에서 정렬하는 전략을 활용한다.
• 사전 훈련된 모델의 계층적 특징 표현을 활용하여 제로샷 또는 일회성 일반화 성능을 향상시킨다.
• 메트릭 학습 또는 특징 정규화를 통해 도메인 이동을 줄이기 위해 적응을 수행한다.
• 제한된 타겟 도메인 애너테이션을 가진 표준 시각적 도메인 적응 벤치마크에서 적응 성능을 평가한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋으로 훈련된 딥 컨볼루션 네트워크가 최소한의 적응으로 새로운 도메인으로 효과적으로 일반화될 수 있는가?
• RQ2 광범위한 사전 훈련에도 불구하고 대규모 지도 학습 딥 모델에서 데이터셋 편향이 어느 정도 지속되는가?
• RQ3 타겟 도메인에서 클래스당 하나의 레이블된 예제만으로도 효과적인 적응이 가능할 수 있는가?
• RQ4 제안된 적응 기법이 저자원 환경에서 표준 미세조정 또는 전이 학습보다 어떻게 비교되는가?

주요 결과

• 대규모 지도 학습 딥 컨볼루션 네트워크는 여전히 데이터셋 편향을 보이며, 사전 훈련만으로는 도메인 이동 문제를 완전히 해결하지 못한다는 것을 시사한다.
• 일회성 적응 기법이 표준 시각적 도메인 적응 벤치마크 데이터셋에서 인식 정확도를 뚜렷이 향상시킨다.
• 제안된 적응 기법은 타겟 도메인에서 클래스당 하나의 레이블된 예제만으로도 뚜렷한 성능 향상을 이룬다.
• 최소한의 데이터로 적응하는 것이 저자원 도메인 적응 상황에서 직접 전이나 표준 미세조정보다 성능이 뛰어나다.