[논문 리뷰] Learning a Hierarchical Compositional Shape Vocabulary for Multi-class Object Representation

Sanja Fidler, Marko Boben외 1명|arXiv (Cornell University)|2014. 08. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 10인용 수 20

한 줄 요약

이 논문은 방향성 있는 윤곽 조각에서 계층적 조합 형태 사전을 비지도 학습 방식으로 학습하기 위한 하향식 프레임워크를 제안한다. 이는 점차 복잡해지는 클래스별 형태 조합으로 이어지는 반복적인 조합 과정을 포함한다. 이 방법은 어휘 크기와 추론 복잡도가 로그 성장률을 보이며, 빠른 추론과 짧은 학습 시간을 제공하는 다중 클래스 객체 인식을 위한 확장 가능한 성능을 달성한다.

ABSTRACT

Hierarchies allow feature sharing between objects at multiple levels of representation, can code exponential variability in a very compact way and enable fast inference. This makes them potentially suitable for learning and recognizing a higher number of object classes. However, the success of the hierarchical approaches so far has been hindered by the use of hand-crafted features or predetermined grouping rules. This paper presents a novel framework for learning a hierarchical compositional shape vocabulary for representing multiple object classes. The approach takes simple contour fragments and learns their frequent spatial configurations. These are recursively combined into increasingly more complex and class-specific shape compositions, each exerting a high degree of shape variability. At the top-level of the vocabulary, the compositions are sufficiently large and complex to represent the whole shapes of the objects. We learn the vocabulary layer after layer, by gradually increasing the size of the window of analysis and reducing the spatial resolution at which the shape configurations are learned. The lower layers are learned jointly on images of all classes, whereas the higher layers of the vocabulary are learned incrementally, by presenting the algorithm with one object class after another. The experimental results show that the learned multi-class object representation scales favorably with the number of object classes and achieves a state-of-the-art detection performance at both, faster inference as well as shorter training times.

연구 동기 및 목표

• 수동 레이블링 없이 복잡한 형태 구조를 포괄하는 확장 가능한 다중 클래스 객체 표현을 개발하는 것.
• 플랫한 바구니-오브-워드 모델의 한계를 해결하기 위해 계층적이고 조합적인 형태 모델링을 도입하는 것.
• 더 나은 일반화와 효율성을 위해 다양한 추상화 수준에서 객체 클래스 간 기능 공유를 가능하게 하는 것.
• 사람의 간섭을 최소화하고 수작업으로 만든 특징 또는 고정된 그룹화 규칙을 피하면서도, 하향식 통계적 방식으로 형태 사전을 학습하는 것.

제안 방법

• 기본 단계로 간단한 방향성 윤곽 조각을 학습하고, 그들의 빈번한 공간적 구성요소를 식별한다.
• 공간 관계를 가우시안으로 모델링하여 하위 수준의 부분들을 조합함으로써 점차 더 복잡한 계층적 구조를 구축하는 재귀적 구성 방식을 사용한다.
• 하위 레이어는 모든 객체 클래스에서 함께 학습되어 일반적인 형태 구조를 포착하고, 상위 레이어는 클래스별로 단계적으로 학습된다.
• 분석 창 크기가 각 레이어에서 증가하고 공간 해상도는 감소함으로써 다중 척도 형태 모델링이 가능해진다.
• 각 구성 요소는 이전 레이어의 부분들에 대한 분포를 포착하는 생성적 확률 모델이므로 변형 모델링이 가능하다.
• 이 프레임워크는 객체 클래스 수에 비례하여 효율적으로 확장 가능한 계층적 하향식 학습 과정을 사용한다.

실험 결과

연구 질문

• RQ1 기본적인 윤곽 조각에서 시작하여 비지도 방식으로 계층적이고 조합적인 형태 사전을 학습할 수 있는가? 이는 여러 객체 클래스를 표현하는 데에 효과적인가?
• RQ2 플랫한 표현 방식에 비해 계층적 조합이 다중 클래스 객체 검출에서 일반화 능력과 추론 효율성에 어떤 영향을 미치는가?
• RQ3 클래스 간 공유 기능은 얼마나 어휘 크기와 학습 시간을 줄일 수 있으며, 同시에 높은 검출 정확도를 유지할 수 있는가?
• RQ4 객체 클래스 수가 증가함에 따라 이 방법은 효과적으로 확장 가능한가? 이는 빠른 추론과 압축된 표현을 유지하는가?

주요 결과

• 이 방법은 병원, 기린, 머그컵, 자동차 유형 등 여러 객체 클래스에서 최신 기술 수준의 검출 성능를 달성한다.
• 추론 시간은 클래스 수에 따라 로그 성장률을 보이며, 플랫한 접근 방식에 비해 뚜렷한 우월성을 보인다.
• 하위 레이어에서 어휘 크기가 로그 성장률을 보이며, 클래스 수가 증가하더라도 확장 가능한 표현이 가능해진다.
• 모델은 높은 검출 정확도를 달성한다: 자동차(전면)의 경우 0.4 FPPI에서 97.5% 검출률을 기록했고, 소의 경우 96.9%였다.
• 이 프레임워크는 강력한 일반화 능력을 보이며, 얼굴 검출의 경우 EER에서 93.0% 재현율, 인물 검출의 경우 85.0%를 기록했다.
• 이 방법은 수동 부분 레이블링이나 사전 정의된 그룹화 규칙이 필요 없이 빠른 학습과 추론을 가능하게 한다.