[논문 리뷰] Borrowing Treasures from the Wealthy: Deep Transfer Learning through Selective Joint Fine-tuning

Weifeng Ge, Yizhou Yu|arXiv (Cornell University)|2017. 02. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 18

한 줄 요약

이 논문은 데이터가 부족한 시각 분류 작업에서 성능을 향상시키기 위해 대규모 소스 도메인에서 정제된 이미지 서브셋을 사용하여 공유 컨볼루션 레이어를 공동으로 미세조정하는 선택적 공동 미세조정을 제안한다. 이 방법은 필터 백지수를 사용해 목표 도메인과 유사한 저수준 특성을 가진 소스 이미지를 선별하여, Caltech-256, MIT Indoor 67, Oxford Flowers 102, Stanford Dogs 120에서 최신 기술 수준의 정확도 향상(2%–10%)을 달성한다.

ABSTRACT

Deep neural networks require a large amount of labeled training data during supervised learning. However, collecting and labeling so much data might be infeasible in many cases. In this paper, we introduce a source-target selective joint fine-tuning scheme for improving the performance of deep learning tasks with insufficient training data. In this scheme, a target learning task with insufficient training data is carried out simultaneously with another source learning task with abundant training data. However, the source learning task does not use all existing training data. Our core idea is to identify and use a subset of training images from the original source learning task whose low-level characteristics are similar to those from the target learning task, and jointly fine-tune shared convolutional layers for both tasks. Specifically, we compute descriptors from linear or nonlinear filter bank responses on training images from both tasks, and use such descriptors to search for a desired subset of training samples for the source learning task. Experiments demonstrate that our selective joint fine-tuning scheme achieves state-of-the-art performance on multiple visual classification tasks with insufficient training data for deep learning. Such tasks include Caltech 256, MIT Indoor 67, Oxford Flowers 102 and Stanford Dogs 120. In comparison to fine-tuning without a source domain, the proposed method can improve the classification accuracy by 2% - 10% using a single model.

연구 동기 및 목표

• 라벨이 부족한 학습 데이터로 신뢰할 만한 학습이 어려운 딥 네ural 네트워크를 훈련하는 데 도전하는 것.
• 과적합이 주요 문제인 세분화된 및 전문화된 시각 분류 작업에서 성능을 향상시키는 것.
• 추가 레이블링이 필요 없이 대규모 소스 데이터셋을 활용하는 전이 학습 전략을 개발하는 것.
• 특징 학습을 향상시키기 위해 소스 도메인에서 가장 관련성이 높은 훈련 샘플만 식별하고 활용하는 것.
• 전체 데이터가 아닌 선택적 소스 데이터 사용이 일반화 및 성능 향상에 더 나은 결과를 낳는다는 것을 입증하는 것.

제안 방법

• 이 방법은 데이터가 적은 목표 작업과 데이터가 풍부한 소스 작업 사이의 공유 컨볼루션 레이어를 공동으로 미세조정한다.
• 필터 백지수(예: 가우버 또는 CNN 기반)를 계산하여 저수준 시각적 특성에 기반해 소스 훈련 이미지의 서브셋을 선택한다.
• 기본 서술자 기반 검색을 통해 유사도를 측정하여, 목표 도메인과 유사한 저수준 특성(예: 질감, 에지)을 가진 소스 이미지만 사용한다.
• 선택된 소스 이미지를 사용해 공유 컨볼루션 레이어를 공동으로 미세조정하여 목표 작업의 특징 학습을 향상시킨다.
• 어려운 훈련 샘플이 많은 목표 도메인의 경우, 검색된 소스 이미지의 수를 늘리는 적응형 샘플링 전략을 사용한다.
• 학습된 비선형 필터 백지수로, 사전 훈련된 AlexNet의 하위 컨볼루션 레이어를 사용해 유사도 매칭을 위한 서술자를 추출한다.

실험 결과

연구 질문

• RQ1 정제된 소스 데이터 서브셋을 사용한 공동 미세조정이 데이터가 부족한 시각 분류 작업에서 성능 향상에 기여하는가?
• RQ2 저수준 시각 유사도 기반으로 소스 이미지를 선택하는 것이 전체 소스 데이터를 사용하는 것보다 더 나은 특징 학습을 이끌어내는가?
• RQ3 선택적 공동 미세조정의 성능가 기존의 미세조정 및 초기 학습과 비교해 어떻게 되는가?
• RQ4 학습된 필터 백지수는 분석적 필터(예: 가우버)보다 관련 있는 소스 샘플을 식별하는 데 더 효과적인가?
• RQ5 이 방법은 ImageNet 및 Places와 같은 다양한 소스 도메인에서 다양한 목표 작업으로 일반화 가능한가?

주요 결과

• 선택적 공동 미세조정은 소스 도메인 없이 기존의 공동 미세조정에 비해 Stanford Dogs 120 데이터셋에서 10%의 정확도 향상을 달성했다.
• MIT Indoor 67에서 Places 데이터셋을 소스 도메인으로 사용하면 평균 클래스 정확도가 85.8%로 상승하여 기준 공동 미세조정 대비 4.1% 향상되었다.
• 모든 소스 데이터를 사용하는 대신 정제된 서브셋을 사용할 경우 Stanford Dogs 120에서 성능이 4.6% 저하되었으며, 이는 관련 없는 데이터가 학습에 악영향을 준다는 것을 보여준다.
• 소스 도메인에서 무작위로 선택된 소스 이미지를 사용할 경우 Stanford Dogs 120에서 성능이 4.7% 저하되었으며, 이는 관련성 기반 선택의 중요성을 확인한다.
• 학습된 필터 백지수를 가우버 필터로 대체했을 경우 Oxford Flowers 102에서 정확도가 2.7% 저하되었으며, 이는 학습된 필터가 수작업으로 만든 필터보다 우수하다는 것을 시사한다.
• 어려운 샘플을 위한 적응형 샘플링 전략은 Stanford Dogs 120에서 성능을 1.9% 향상시켜 어려운 샘플을 처리하는 데서의 가치를 입증한다.