[논문 리뷰] Unsupervised Deep Feature Transfer for Low Resolution Image Classification

Yuanwei Wu, Ziming Zhang외 1명|arXiv (Cornell University)|2019. 08. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 5

한 줄 요약

이 논문은 백본 컨볼루션 필터를 미세조정하지 않고 고해상도 이미지에서의 분류 특징을 저해상도 이미지로 전이함으로써 저해상도 이미지 분류 성능을 햖스하는 비지도 딥 특징 전이 방법을 제안한다. 사전 훈련된 ResNet-101을 사용해 특징을 추출하고, k-means 클러스터링을 통해 생성된 가짜 레이블을 활용한 두 층의 완전 연결 네트워크를 통해 특징을 전이하며, VOC2007에서 기준 저해상도 특징 추출 방법 대비 2%의 mAP 향상을 달성한다.

ABSTRACT

In this paper, we propose a simple while effective unsupervised deep feature transfer algorithm for low resolution image classification. No fine-tuning on convenet filters is required in our method. We use pre-trained convenet to extract features for both high- and low-resolution images, and then feed them into a two-layer feature transfer network for knowledge transfer. A SVM classifier is learned directly using these transferred low resolution features. Our network can be embedded into the state-of-the-art deep neural networks as a plug-in feature enhancement module. It preserves data structures in feature space for high resolution images, and transfers the distinguishing features from a well-structured source domain (high resolution features space) to a not well-organized target domain (low resolution features space). Extensive experiments on VOC2007 test set show that the proposed method achieves significant improvements over the baseline of using feature extraction.

연구 동기 및 목표

• 고해상도 데이터는 훈련 시에 이용 가능하지만 테스트 시에는 저해상도 이미지만 이용 가능한 실세계 응용에서 저해상도 이미지 분류 성능을 향상시키기 위해.
• 분류 성능이 저하되는 이유인 분류 특징의 손실을 해결하기 위해.
• 백본 네트워크의 미세조정이 필요 없이 고해상도 특징 공간에서의 지식을 저해상도 특징 공간으로 전이할 수 있는 플러그인형 특징 향상 모듈을 개발하기 위해.
• 가짜 레이블 기반 고해상도 특징을 활용해 특징 공간에서 데이터 구조와 클래스 간 분리도를 유지함으로써 저해상도 특징 학습을 안내하기 위해.

제안 방법

• 고해상도 및 저해상도 이미지에서 모두 2048차원 특징을 추출하기 위해 사전 훈련된 ResNet-101 네트워크를 사용한다.
• 고해상도 특징은 k-means를 사용해 클러스터링되어 가짜 레이블을 생성하며, 이 가짜 레이블이 특징 전이 네트워크 훈련을 안내한다.
• 두 층의 완전 연결 네트워크(각각 4096개 및 100개의 뉴런)가 저해상도 특징을 더 분류에 유용한 100차원 공간으로 매핑함으로써 특징 전이를 수행한다.
• 가짜 레이블이 부여된 고해상도 특징을 기반으로, 가중치 감소, 모멘터럼, 코사인 감쇠 스케줄을 적용한 확률적 경사 하강법으로 네트워크를 훈련한다.
• 최종 분류를 위해 전이된 저해상도 특징에 직접 선형 SVM 분류기를 훈련한다.
• 특징 전이 네트워크는 최신 딥 네트워크와 호환되는 플러그인 모듈로 설계되어 있다.

실험 결과

연구 질문

• RQ1 백본 네트워크의 미세조정 없이 고해상도에서 저해상도로의 비지도 특징 전이가 분류 성능 향상에 기여할 수 있는가?
• RQ2 고해상도 특징의 k-means 클러스터링을 통한 가짜 레이블링이 저해상도 특징 학습을 얼마나 효과적으로 안내하는가?
• RQ3 직접적인 저해상도 특징 추출 방식에 비해 제안된 방법이 특징 공간에서 클래스 간 분리도를 얼마나 잘 유지하는가?
• RQ4 특징 전이 네트워크가 기존 딥 러닝 파이프라인에 효과적으로 플러그인 모듈로 통합될 수 있는가?

주요 결과

• 제안된 방법은 VOC2007 테스트 세트에서 기준 저해상도 특징 추출 방법 대비 평균 평균 정확도(mAP)에서 2% 향상을 달성한다.
• t-SNE 시각화 결과, 전이된 저해상도 특징은 원본 저해상도 특징보다 훨씬 잘 분리되어 있음을 보여주며, 이는 개선된 클래스 분류 가능성을 시사한다.
• 두 층의 특징 전이 네트워크에 대해 그리드 서치를 통해 최적의 아키텍처는 첫 번째 레이어에 4096개, 두 번째 레이어에 100개의 뉴런을 사용하는 것으로 확인되었으며, mAP 기준으로 최적화되었다.
• VOC2007의 대부분의 클래스에서 저해상도 특징을 사용한 기준 방법에 비해 제안된 방법이 성능을 뛰어넘지만, 'bottle'과 'sheep' 클래스를 제외한 대부분의 경우에서 성능 향상이 관찰되었다.
• 제안된 방법은 저해상도 특징 공간에서 고해상도 특징의 잘 정리된 데이터 분포를 유지함으로써 분류의 강건성을 향상시킨다.
• 특징 전이 모듈은 백본 네트워크의 미세조정 없이 최신 딥 네트워크에 플러그인형 특징 향상 구성 요소로 통합될 수 있다.