[논문 리뷰] Scene Recognition by Combining Local and Global Image Descriptors

Jobin Wilson, Muhammad Arif|arXiv (Cornell University)|2017. 02. 21.

Advanced Image and Video Retrieval Techniques참고 문헌 3인용 수 3

한 줄 요약

이 논문은 DAISY 局부 기술자와 HOG 전역 기술자를 조합하여 2단계 풀링 전략과 Mini-Batch K-Means를 사용한 효율적인 bag-of-visual-words 인코딩을 구현한 하이브리드 시점 인식 파이프라인을 제안한다. SVM 분류기로 15개 시점 데이터셋에서 76.4%의 정확도를 달성하여, 단일 기술자 유형을 사용한 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Object recognition is an important problem in computer vision, having diverse applications. In this work, we construct an end-to-end scene recognition pipeline consisting of feature extraction, encoding, pooling and classification. Our approach simultaneously utilize global feature descriptors as well as local feature descriptors from images, to form a hybrid feature descriptor corresponding to each image. We utilize DAISY features associated with key points within images as our local feature descriptor and histogram of oriented gradients (HOG) corresponding to an entire image as a global descriptor. We make use of a bag-of-visual-words encoding and apply Mini- Batch K-Means algorithm to reduce the complexity of our feature encoding scheme. A 2-level pooling procedure is used to combine DAISY and HOG features corresponding to each image. Finally, we experiment with a multi-class SVM classifier with several kernels, in a cross-validation setting, and tabulate our results on the fifteen scene categories dataset. The average accuracy of our model was 76.4% in the case of a 40%-60% random split of images into training and testing datasets respectively. The primary objective of this work is to clearly outline the practical implementation of a basic screne-recognition pipeline having a reasonable accuracy, in python, using open-source libraries. A full implementation of the proposed model is available in our github repository.

연구 동기 및 목표

• 합리적인 정확도를 확보하면서 오픈소스 파이썬 라이브러리를 사용한 실용적이고 종단 간 시점 인식 파이프라인을 개발하기 위해.
• 국소(다이시) 및 전역(HOG) 이미지 기술자를 융합하여 하이브리드 기술자 기반의 분류 성능 향상을 위해.
• 표준 K-Means 대비 Mini-Batch K-Means를 사용하여 특징 인코딩의 계산 복잡도를 감소시키기 위해.
• SVM 커널 및 하이퍼파rameter의 영향을 시점 인식 정확도에 미치는 영향을 평가하기 위해.
• 정규화된 DAISY 히스토GRAM과 L2 정규화된 HOG 특징을 조합하는 2단계 풀링 전략의 효과를 입증하기 위해.

제안 방법

• 국소 이미지 표현을 위해 scikit-image 라이브러리를 사용해 키포인트 특징에서 DAISY 기술자를 추출한다.
• 가변 설정 파rameter(Pixels_per_cell, Cells_per_block, Orientations)를 사용해 전체 이미지에서 전역 HOG 기술자를 추출한다.
• 모든 훈련용 DAISY 기술자를 대상으로 Mini-Batch K-Means 군집화를 수행하여 시각 어휘를 구성하고 bag-of-visual-words 인코딩을 가능하게 한다.
• 각 DAISY 기술자를 가장 가까운 클러스터에 할당하고 발생 빈도를 세어 DAISY 히스토GRAM으로 이미지를 히스토GRAM화함으로써 각 이미지를 시각어 단어 히스토GRAM으로 인코딩한다.
• DAISY 히스토GRAM과 HOG 기술자를 각각 L2 정규화한 후, 하이브리드 특징 벡터로 연결한다.
• 하이브리드 특징에 대해 5겹 교차검증을 수행하면서 다양한 커널(선형, RBF)을 사용한 다중 클래스 SVM 분류기를 훈련한다.

실험 결과

연구 질문

• RQ1 국소(DAISY) 및 전역(HOG) 이미지 기술자를 융합할 경우, 단독으로 사용할 경우와 비교해 시점 인식 정확도에 어떤 영향을 미치는가?
• RQ2 이 하이브리드 프레임워크에서 bag-of-visual-words 표현에 최적의 시각 어휘 크기(K)는 무엇인가?
• RQ3 다양한 SVM 커널(선형 대비 RBF)과 하이퍼파rameter(C, γ)는 분류 성능에 어떤 영향을 미치는가?
• RQ4 정규화 및 연결을 통해 DAISY와 HOG 특징을 조합하는 2단계 풀링 전략이 모델의 강건성과 정확도에 얼마나 기여하는가?
• RQ5 대규모 특징 인코딩에서 표준 K-Means 대비 Mini-Batch K-Means 사용이 계산 시간을 얼마나 감소시키는가?

주요 결과

• DAISY와 HOG 특징을 모두 사용한 하이브리드 모델은 1.9백만 개의 기술자에서 K=600일 때 약 45초의 인코딩 시간을 기록하며, 15개 시점 데이터셋에서 40%-60% 훈련-테스트 분할 조건에서 76.4%의 정확도를 달성했다.
• HOG 기술자만을 사용할 경우 정확도가 59.1%에 그쳐 척도, 방향, 이동 변화에 대한 제한이 있음을 시사한다.
• DAISY 기술자만을 사용할 경우 70.8%의 정확도를 기록하여 국소 텍스처와 구조를 잘 포착함을 보여준다.
• 두 기술자의 조합은 개별 모델보다 유의미하게 뛰어난 성능을 보이며, 기능 표현에서 상호보완적인 강점을 입증한다.
• Mini-Batch K-Means 알고리즘은 표준 K-Means가 몇 시간이 소요되던 인코딩 시간을 K=600일 때 약 45초로 단축시켰다.
• 혼동 행렬 분석 결과, 잘못 분류된 사례는 인간 관찰자에게도 시각적으로 모호한 시점이었으며, 이는 데이터셋의 본질적 복잡성을 반영한다.