[논문 리뷰] Harvesting Discriminative Meta Objects with Deep CNN Features for Scene Classification

Wu Ruobing, Baoyuan Wang외 2명|arXiv (Cornell University)|2015. 10. 06.

Advanced Neural Network Applications인용 수 12

한 줄 요약

이 논문은 깊이 학습된 CNN 특징을 활용하여 영역 제안, 무 supervision 및 약한 supervision 필터링, 그리고 지역적 CNN 미세조정을 통한 분류 클러스터링을 통해 구분 가능한 메타 오브젝트—의미적으로 유사하고 카테고리에 특화된 시각적 부분과 오브젝트의 그룹—를 추출하는 새로운 파이프라인을 제안한다. 이 방법은 학습된 메타 오브젝트의 다중 척도 특징 반응 맵을 풀링하여 MIT Indoor 67(78.92%)과 Sun397(75.12%)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent work on scene classification still makes use of generic CNN features in a rudimentary manner. In this ICCV 2015 paper, we present a novel pipeline built upon deep CNN features to harvest discriminative visual objects and parts for scene classification. We first use a region proposal technique to generate a set of high-quality patches potentially containing objects, and apply a pre-trained CNN to extract generic deep features from these patches. Then we perform both unsupervised and weakly supervised learning to screen these patches and discover discriminative ones representing category-specific objects and parts. We further apply discriminative clustering enhanced with local CNN fine-tuning to aggregate similar objects and parts into groups, called meta objects. A scene image representation is constructed by pooling the feature response maps of all the learned meta objects at multiple spatial scales. We have confirmed that the scene image representation obtained using this new pipeline is capable of delivering state-of-the-art performance on two popular scene benchmark datasets, MIT Indoor 67~\cite{MITIndoor67} and Sun397~\cite{Sun397}

연구 동기 및 목표

• 장면 분류에서 일반적이고 통합적인 CNN 특징를 사용할 경우 국소적 특징 분포와 구분 가능한 부분을 忽시하는 한계를 해결하기 위해.
• 약한 supervision 방식으로 깊이 학습된 CNN 특징에서 자동으로 카테고리에 특화된 시각적 오브젝트와 부분을 식별하고 그룹화하는 방법을 개발하기 위해.
• 메타 오브젝트를 통해 구분 가능한 국소적 특징를 집계하면서도 다중 척도에서 공간 분포를 유지함으로써 장면 표현을 향상시키기 위해.
• 깊이 특징에서 유도된 국소적, 부분 기반 표현이 장면 분류에서 전반적인 CNN 특징를 능가하는지 입증하기 위해.

제안 방법

• 영역 제안 네트워크를 사용하여 고품질의 이미지 패치를 생성하여 잠재적인 오브젝트와 부분을 식별하기 위해.
• 사전 학습된 네트워크를 사용하여 모든 제안된 패치에서 일반적인 깊이 CNN 특징를 추출하기 위해.
• 각 장면 카테고리별로 일종의 SVM을 적용하여 무 supervision 이상치 제거를 수행하고, 해당 카테고리에서 자주 발생하는 패치만 유지하기 위해.
• 분류 간 분리성(Inter-class separability)이 높은 패치를 선택하기 위해 분류 특성 가중치를 사용하여 약한 supervision 기반 패치 필터링을 수행하기 위해.
• 선별된 패치를 대상으로 분류 클러스터링을 수행하여 공통적인 의미적 의미를 반영하는 그룹인 '메타 오브젝트'를 형성하기 위해.
• 최종 이미지 표현을 위해 각 메타 오브젝트의 특징 반응 맵을 국소적 CNN 미세조정을 통해 정밀화한 후, 다중 척도 공간 풀링을 수행하기 위해.

실험 결과

연구 질문

• RQ1 깊이 학습된 CNN 특징를 효과적으로 활용하여 장면 분류를 위한 카테고리에 특화된 시각적 오브젝트와 부분을 탐지할 수 있는가?
• RQ2 무 supervision 및 약한 supervision 필터링을 조합함으로써 메타 오브젝트 탐지에 적합한 후보 패치의 품질이 어떻게 향상되는가?
• RQ3 패치를 메타 오브젝트로 분류 클러스터링하는 것과 개별 시각적 단어로 간주하는 것 사이에서 표현 능력 향상 정도는 어느 정도인가?
• RQ4 국소적 CNN 미세조정이 최종 이미지 표현에서 메타 오브젝트 특징의 분류 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 파이프라인은 MIT Indoor 67 데이터셋에서 최신 기술 수준의 인식 정확도 78.92%를 달성하여 이전 방법들을 능가했다.
• Sun397 데이터셋에서는 75.12%의 정확도를 기록하여 다양한 장면 카테고리에 대한 강력한 일반화 능력을 입증했다.
• 이상치 제거 단계를 제거하면 성능이 2.6% 감소하여, 비구분 가능한 패치를 걸러내는 데 이 단계의 중요성을 확인했다.
• 분류 클러스터링을 통해 패치를 그룹화함으로써, 그룹화 없이 선별된 패치를 직접 코드북으로 사용하는 것보다 약 6.1%의 정확도 향상을 달성했다.
• 국소적 CNN 미세조정은 2.8%의 성능 향상을 기여하여, 메타 오브젝트 간 특징 경계를 정밀하게 다듬는 데 유의미한 가치를 지닌다.
• 다른 데이터셋 평가 결과, SUN397에서 미세조정된 CNN이 MIT Indoor 67에서 76.52%의 정확도를 달성하여 학습된 메타 오브젝트의 이식 가능성(transferability)을 입증했다.