[논문 리뷰] A Discriminative Representation of Convolutional Features for Indoor Scene Recognition

Salman Khan, Munawar Hayat외 3명|arXiv (Cornell University)|2015. 06. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 58인용 수 115

한 줄 요약

이 논문은 구조적 컨볼루션 특징를 다수의 장면 대표 패치(SRP) 코드북을 사용하여 더 분류 능력이 뛰어난 공간으로 변환함으로써 실내 환경 인식을 위한 새로운 비지도(mid-level) 특징 표현을 제안한다. 새로운 대규모 실내 물체 데이터셋(1,300개의 카테고리)에서 유도된 지도 학습 SRP와 비지도 학습 SRP를 조합하고, 최대 마진 초평면 인코딩을 적용함으로써 다섯 개의 주요 환경 분류 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 동일 카테고리 내 변동성과 이질적 카테고리 간 유사성 문제를 다루는 데 있어 이전 방법들보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

Indoor scene recognition is a multi-faceted and challenging problem due to the diverse intra-class variations and the confusing inter-class similarities. This paper presents a novel approach which exploits rich mid-level convolutional features to categorize indoor scenes. Traditionally used convolutional features preserve the global spatial structure, which is a desirable property for general object recognition. However, we argue that this structuredness is not much helpful when we have large variations in scene layouts, e.g., in indoor scenes. We propose to transform the structured convolutional activations to another highly discriminative feature space. The representation in the transformed space not only incorporates the discriminative aspects of the target dataset, but it also encodes the features in terms of the general object categories that are present in indoor scenes. To this end, we introduce a new large-scale dataset of 1300 object categories which are commonly present in indoor scenes. Our proposed approach achieves a significant performance boost over previous state of the art approaches on five major scene classification datasets.

연구 동기 및 목표

• 실내 환경 인식에서 높은 동일 카테고리 내 변동성과 이질적 카테고리 간 유사성 문제를 해결하기 위해.
• 전통적인 전역 또는 국소 특징 표현을 초월하여 국소적 세부 정보와 구조적 관계를 유지하는 중위 특징를 도입하기 위해.
• 복잡한 실내 환경을 위한 강건한 특징 인코딩 체계를 개발하여 분류 능력을 향상시키기 위해.
• 실내 환경 인식에 관련된 1,300개의 실내 물체 카테고리로 구성된 첫 번째 대규모 데이터셋을 구축하고 공개하기 위해.
• 다양하고 도전적인 실내 환경 분류 데이터셋에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 딥 컨볼루션 특징에서 조밀하고 균일한 이미지 패치를 추출하여 중위 표현을 형성한다.
• 다수의 작은 코드북을 구성하며, 이는 새로운 1,300개 카테고리의 실내 물체 데이터셋에서 유도된 지도 학습 SRP와 학습 데이터에서 유도된 비지도 학습 SRP를 조합하여 구성한다.
• 최대 마진 초평면을 사용하여 패치와 환경 카테고리 간의 분류 능력 있는 연관성을 모델링한다.
• 최종 표현을 위해 다수의 코드북에 걸쳐 최대 풀링을 적용하여 분류 능력 있는 패치 반응을 통합한다.
• 특징 인코딩을 위해 희소 코딩과 분류기 유사도 지표를 활용하며, 구성 요소의 효과성을 검증하기 위해 분석 실험을 실시한다.
• 데이터 증강과 패치 기여도 히트맵을 활용하여 강건성과 해석 가능성 향상

실험 결과

연구 질문

• RQ1 컨볼루션 특징에서 유도된 중위 표현이 실내 환경 인식에서 전역 또는 국소 표현보다 뛰어난 성능을 낼 수 있는가?
• RQ2 다수의 코드북에 지도 학습 및 비지도 학습 SRP를 조합하면 단일 코드북에 비해 분류 정확도가 향상되는가?
• RQ3 최대 마진 초평면 인코딩이 환경 분류를 위한 분류 능력 있는 패치 관계를 얼마나 효과적으로 포착하는가?
• RQ4 제안된 방법이 높은 혼잡도, 척도 변화, 자세 변화가 있는 데이터셋에 얼마나 일반화되는가?
• RQ5 대규모이고 의미적으로 레이블링된 실내 물체 데이터셋이 환경 인식 성능 향상에 기여하는가?

주요 결과

• 제안된 DUCA 방법은 UIUC 8-Sports 데이터셋에서 98.7%의 정확도를 기록하여 이전 최고 성능 방법보다 10.2% 향상되었다.
• Graz-02 데이터셋에서 방법은 98.6%의 정확도를 달성하여 이전 최고 기록보다 12.6% 향상되었다.
• 지도 학습 및 비지도 학습 코드북의 조합은 MIT-67 데이터셋에서 71.8%의 정확도를 기록하여 개별 구성 요소나 단일 대규모 코드북보다 뛰어난 성능을 보였다.
• 다수의 작은 코드북은 단일 대규모 코드북 대비 이미지당 약 20초의 특징 인코딩 시간을 단축시켰으며, 성능은 유지하거나 향상시켰다.
• 코드북 간 최대 풀링이 가장 우수한 성능을 보였으며, MIT-67에서 71.8%의 정확도를 기록하여 평균 풀링의 69.7%보다 뛰어났다.
• 히트맵 분석 결과 가장 분류 능력 있는 중위 패치가 정확한 예측에 가장 큰 기여를 했으며, 이는 방법이 주목할 만한 환경 요소에 집중하고 있음을 확인시켰다.