[논문 리뷰] Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models

Tejaswi Nimmagadda, Anima Anandkumar|arXiv (Cornell University)|2015. 05. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 29인용 수 11

한 줄 요약

이 논문은 사전 훈련된 ImageNet 특징과 조건부 잠재 트리 모델(CLTM)을 결합한 통합된 딥 러닝 및 확률적 모델링 프레임워크를 제안한다. 이는 다객체 분류 및 비지도 환경 이해를 향상시키기 위해 고안되었다. 커널 방법을 통해 계층적인 객체 공존 구조를 학습하고, 3층 신경망을 사용해 노드/에지 잠재값을 학습함으로써, 어려운 객체인 와인 글라스와 같은 경우 최대 171%까지 F-측정치 향상을 달성한다. 또한 잠재 노드는 감독 없이도 의미론적 환경 주제를 포착한다.

ABSTRACT

Deep learning has shown state-of-art classification performance on datasets such as ImageNet, which contain a single object in each image. However, multi-object classification is far more challenging. We present a unified framework which leverages the strengths of multiple machine learning methods, viz deep learning, probabilistic models and kernel methods to obtain state-of-art performance on Microsoft COCO, consisting of non-iconic images. We incorporate contextual information in natural images through a conditional latent tree probabilistic model (CLTM), where the object co-occurrences are conditioned on the extracted fc7 features from pre-trained Imagenet CNN as input. We learn the CLTM tree structure using conditional pairwise probabilities for object co-occurrences, estimated through kernel methods, and we learn its node and edge potentials by training a new 3-layer neural network, which takes fc7 features as input. Object classification is carried out via inference on the learnt conditional tree model, and we obtain significant gain in precision-recall and F-measures on MS-COCO, especially for difficult object categories. Moreover, the latent variables in the CLTM capture scene information: the images with top activations for a latent node have common themes such as being a grasslands or a food scene, and on on. In addition, we show that a simple k-means clustering of the inferred latent nodes alone significantly improves scene classification performance on the MIT-Indoor dataset, without the need for any retraining, and without using scene labels during training. Thus, we present a unified framework for multi-object classification and unsupervised scene understanding.

연구 동기 및 목표

• 객체가 상호 배타적이지 않고 복잡한 공존 패턴을 보이는 자연 이미지에서의 다객체 분류 과제를 해결한다.
• 객체 카테고리 간의 맥락적 관계를 忽시하는 독립 이진 또는 다중 클래스 분류기의 한계를 극복한다.
• 훈련 시 환경 레이블을 사용하지 않고도 고수준의 의미론적 환경 구조를 포착하는 잠재 변수를 학습함으로써 비지도 환경 이해를 가능하게 한다.
• 구조화된 확률 모델을 통해 맥락적 의존성을 통합함으로써 희귀하거나 감지하기 어려운 객체의 분류 성능을 향상시킨다.
• 딥 러닝 특징, 커널 기반의 구조 학습, 신경망 잠재값 추정을 통합한 확장성 있고 종단 간 프레임워크를 개발한다.

제안 방법

• 사전 훈련된 ImageNet CNN의 fc7 특징을 입력 맥락으로 삼아 잠재 트리 확률 모델(CLTM)을 조건화한다.
• 커널 조건부 임bedding을 사용해 객체 공존의 이변량 조건부 확률을 추정하며, 이를 계층적 트리 구조에 반영한다.
• 동일한 fc7 특징을 기반으로 훈련된 새로운 3층 전방향 신경망을 통해 CLTM의 노드 및 에지 잠재값을 학습한다.
• 학습된 CLTM에서 MAP 추론을 수행함으로써 다객체 분류를 수행하며, 구조적 예측을 활용해 레이블의 일관성을 향상시킨다.
• 훈련 시 환경 레이블을 사용하지 않고도, 추론된 잠재 노드 활성화에 대해 k-means 클러스터링을 적용해 MIT-Indoor에서 비지도 환경 분류를 수행한다.
• 고정된 토폴로지나 잠재 변수의 수를 부과하지 않아 데이터 기반의 민첩한 트리 구조를 복원하며, 객체 카테고리의 적응적 군집화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 MS-COCO와 같은 복잡하고 비도안적인 이미지에서, 딥 페처에 조건부된 잠재 트리 모델이 다객체 분류 성능을 향상시킬 수 있는가?
• RQ2 훈련 시 환경 수준의 애너테이션 없이도 CLTM의 잠재 변수가 의미론적 환경 수준의 정보를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 공존 모델링을 통한 맥락적 의존성 통합이, 특히 희귀하거나 어려운 객체 카테고리의 F-측정치 향상에 얼마나 기여하는가?
• RQ4 CLTM의 잠재 활성화를 직접 비지도 환경 분류에 사용할 수 있으며, 이는 오직 객체 수준 예측을 사용할 때와 비교해 성능이 어떻게 되는가?
• RQ5 구조 학습에 커널 방법을, 잠재값 추정에 신경망을 통합함으로써, 대규모 다중 레이블 인식에 대해 확장성 있고 일반화 가능한 프레임워크를 도출할 수 있는가?

주요 결과

• CLTM 프레임워크는 MS-COCO 데이터셋에서 3층 독립 신경망 분류기 대비 F-측정치 7%p 향상했다.
• 와인 글라스와 같은 어려운 객체 카테고리에서는 F-측정치 향상이 최대 171%에 이르며, 희귀하거나 인식하기 어려운 객체의 검출 성능 향상이 뚜렷하게 나타났다.
• 실내 객체에 대해 특히 높은 성과를 보였으며, bow와 컵의 경우 F-측정치 향상이 각각 50–56%였고, 랩탑의 경우 27%였다.
• CLTM의 잠재 노드는 의미론적 환경 주제를 효과적으로 포착했다: 예를 들어 h9, h12, h4, h21 노드는 각각 숲, 식탁, 주방, 거실 환경을 대표한다.
• 잠재 노드의 주변 확률에 기반한 클러스터링은 MIT-Indoor 데이터셋에서 오류 분류율 0.238(클러스터 수 k=6)을 기록했으며, 객체 수준 예측이나 관측값+잠재값 특징을 조합한 경우보다 성능이 뛰어났다.
• 모델은 오직 객체 수준 특징과 잠재 구조만을 사용해도 비지도 환경 이해가 가능하다는 점을 입증했다. 훈련 시 환경 레이블이 필요하지 않다.