[논문 리뷰] Object-centric Sampling for Fine-grained Image Classification

Xiaoyu Wang, Tianbao Yang외 2명|arXiv (Cornell University)|2014. 12. 10.

Advanced Neural Network Applications참고 문헌 12인용 수 8

한 줄 요약

이 논문은 객체 중심 샘플링(OCS)을 제안하여 미세 분류 이미지 분류 성능을 햖थ다. 주목도 인식 객체 검출기를 사용하여 검출된 객체 주변의 이미지 윈도우를 우선시함으로써 CNN 훈련을 안내한다. 333개의 클래스와 157,023장의 훈련 이미지를 포함하는 대규모 자동차 데이터셋을 구축함으로써, 검출 반응을 강조하는 다항 샘플링을 통해 배경의 혼잡함을 효과적으로 줄이고 미세한 차이를 보다 잘 일반화할 수 있도록 하였다. 이로 인해 정확도가 81.6%에서 89.3%로 향상되었다.

ABSTRACT

This paper proposes to go beyond the state-of-the-art deep convolutional neural network (CNN) by incorporating the information from object detection, focusing on dealing with fine-grained image classification. Unfortunately, CNN suffers from over-fiting when it is trained on existing fine-grained image classification benchmarks, which typically only consist of less than a few tens of thousands training images. Therefore, we first construct a large-scale fine-grained car recognition dataset that consists of 333 car classes with more than 150 thousand training images. With this large-scale dataset, we are able to build a strong baseline for CNN with top-1 classification accuracy of 81.6%. One major challenge in fine-grained image classification is that many classes are very similar to each other while having large within-class variation. One contributing factor to the within-class variation is cluttered image background. However, the existing CNN training takes uniform window sampling over the image, acting as blind on the location of the object of interest. In contrast, this paper proposes an \emph{object-centric sampling} (OCS) scheme that samples image windows based on the object location information. The challenge in using the location information lies in how to design powerful object detector and how to handle the imperfectness of detection results. To that end, we design a saliency-aware object detection approach specific for the setting of fine-grained image classification, and the uncertainty of detection results are naturally handled in our OCS scheme. Our framework is demonstrated to be very effective, improving top-1 accuracy to 89.3% (from 81.6%) on the large-scale fine-grained car classification dataset.

연구 동기 및 목표

• 기존 벤치마크에서 훈련 데이터가 제한되어 있어 미세 분류 이미지 분류에서 과적합 문제가 발생하는 문제를 해결하기 위해.
• 미세 분류 이미지에서 혼잡한 배경으로 인한 동일 클래스 내 변동성을 줄이기 위해.
• 객체 검출 기반의 객체 중심 샘플링으로 균일 샘플링에서 전환하여 CNN 성능을 향상시키기 위해.
• 부정확한 검출 결과를 처리할 수 있는 강건한 검출 및 샘플링 파이프라인을 설계하기 위해.
• 대규모 고해상도의 미세 분류 데이터셋을 기반으로 자동차 인식을 위한 강력한 CNN 베이스라인을 수립하기 위해.

제안 방법

• 브랜드, 모델, 연식 범위로 레이블이 부여된 333개의 클래스와 157,023장의 훈련 이미지를 포함하는 대규모 미세 분류 자동차 데이터셋을 구축한다.
• 오직 가장 주목도가 높은 객체만 양성으로 레이블링된 데이터셋에서 훈련된 Regionlet 검출 기반의 주목도 인식 객체 검출 프레임워크를 설계한다.
• 선택적 검색을 사용하여 객체 제안을 생성하고, Regionlet 재위치 조정을 적용하여 경계 상자 예측을 정밀화한다.
• 높은 신뢰도의 검출 반응과 겹치는 이미지 윈도우에 더 높은 샘플링 확률을 할당하는 다항 샘플링 기법을 구현한다.
• 비최대 억제를 전역 최대 연산으로 대체하여 이미지 전반에 걸쳐 검출 신뢰도를 유지한다.
• 균일 샘플링과 다항 샘플링을 모두 사용하여 333개 클래스의 깊은 CNN을 훈련하고, 분석 및 비교를 위해 활용한다.

실험 결과

연구 질문

• RQ1 대규모, 미세 분류 데이터셋이 미세 분류 이미지 분류에서 CNN 성능을 크게 향상시킬 수 있는가?
• RQ2 검출 결과를 기반으로 한 객체 중심 샘플링이 미세 분류 분류에서 배경 혼잡성의 부정적 영향을 줄이는가?
• RQ3 주목도 인식 검출기가 복잡하고 혼잡한 이미지에서 가장 관련성이 높은 객체를 식별하는 데 얼마나 효과적인가?
• RQ4 다항 샘플링 전략이 부정확한 검출 출력을 효과적으로 처리하면서도 분류 정확도를 향상시키는가?
• RQ5 객체 중심 샘플링이 균일 샘플링보다 미세 분류 인식 작업에서 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 제안된 대규모 자동차 데이터셋을 통해 81.6%의 정확도를 기록하는 강력한 CNN 베이스라인이 수립되었으며, 기존의 방법들보다 뚜렷한 성능 향상을 보였다.
• 검출 반응 기반의 다항 샘플링을 사용한 객체 중심 샘플링은 정확도를 89.3%로 향상시켜 상대적 향상률이 7.7%p에 달했다.
• 주목도 인식 검출기는 평균 정밀도 85.8%를 달성했으며, 더 크고 주목도가 높은 객체에 대해 항상 더 높은 신뢰도를 부여했다.
• 다항 샘플링 기법은 배경 특징에 대한 의존도를 효과적으로 줄여, 미세한 차이를 보다 잘 일반화하는 데 기여했다.
• 부정확한 검출 결과에도 불구하고 일관된 성능 향상이 나타나 검출에 대한 강건성을 입증했다.
• 시각화 결과는 모델이 올바른 객체 영역에 집중하고 있으며, OCS를 사용할 경우 잘못된 예측이 줄어들었다.