[논문 리뷰] Dynamical And-Or Graph Learning for Object Shape Modeling and Detection

Xiaolong Wang, Liang Lin|arXiv (Cornell University)|2015. 02. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 13

한 줄 요약

이 논문은 동적 CCCP 알고리즘을 통해 모델 파라미터와 구조를 동시에 학습하는 비지도 학습 기반의 구조적 And-Or 그래프 모델을 제안한다. 이 모델은 계층적 And-Or 구조를 사용하며, 협업형 잎노드 간 엣지, 부분 가변성에 대응하기 위한 or노드 스위칭, 전체 객체 검증을 위한 글로벌 루트노드를 포함하여 INRIA-Horse, ETHZ-Shape, UIUC-People 데이터셋에서 최신 기준 성능을 달성한다. 평균 정밀도는 최대 56.20%이며, 1.0 FPPI에서 재현율은 89.6%에 이른다.

ABSTRACT

This paper studies a novel discriminative part-based model to represent and recognize object shapes with an "And-Or graph". We define this model consisting of three layers: the leaf-nodes with collaborative edges for localizing local parts, the or-nodes specifying the switch of leaf-nodes, and the root-node encoding the global verification. A discriminative learning algorithm, extended from the CCCP [23], is proposed to train the model in a dynamical manner: the model structure (e.g., the configuration of the leaf-nodes associated with the or-nodes) is automatically determined with optimizing the multi-layer parameters during the iteration. The advantages of our method are two-fold. (i) The And-Or graph model enables us to handle well large intra-class variance and background clutters for object shape detection from images. (ii) The proposed learning algorithm is able to obtain the And-Or graph representation without requiring elaborate supervision and initialization. We validate the proposed method on several challenging databases (e.g., INRIA-Horse, ETHZ-Shape, and UIUC-People), and it outperforms the state-of-the-arts approaches.

연구 동기 및 목표

• 구조적이고 계층적인 모델을 통해 대용량 클래스 간 변동성과 배경 잡음 문제를 해결한다.
• 수동 초기화나 애너테이션 없이 모델 파라미터와 구조를 자동으로 약한 지도 학습 방식으로 학습할 수 있도록 한다.
• 협업 엣지를 통해 부분 재구성 및 국소 부분 간 상호작용을 모델링하여 검출의 강인성을 향상시킨다.
• 학습 중에 반복적으로 최적의 잎노드 및 or노드 구성 구성을 결정하는 동적 학습 알고리즘을 개발한다.

제안 방법

• And-Or 그래프 모델은 세 층으로 구성된다: 국소 윤곽 조각 분류기 역할을 하는 잎노드, 활성 부분을 선택하는 스위치 역할을 하는 or노드, 전체 객체 검증을 위한 루트-and노드.
• 잎노드 간 협업 엣지는 확률적 동시 발생을 모델링하여 조건부 독립성을 완화하고 국소 부분 간 상호작용을 가능하게 한다.
• 새로운 동적 CCCP 알고리즘은 오목-볼록 절차를 확장하여 학습 중에 파라미터 최적화와 함께 모델 구조를 동적으로 재구성한다.
• 검출 시 or노드의 위치 이동을 허용하여 부분 변형을 처리하고, 윤곽 표현에 Shape Context 기술자를 사용한다.
• 학습은 Pb 검출기로부터 확보한 양성 클러터 없는 윤곽과 음성 엣지 맵을 사용하며, 테스트는 다중 해상도 탐색과 IoU 기반 평가를 적용한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 기반, 엔드 투 엔드 학습 가능한 And-Or 그래프 모델은 대용량 클래스 간 형태 변동성과 배경 잡음을 효과적으로 다룰 수 있는가?
• RQ2 학습 중 동적 구조 재구성 기법이 고정 또는 수동으로 설계된 구조에 비해 검출 성능을 얼마나 향상시키는가?
• RQ3 잎노드 간 협업 엣지는 독립적인 부분 검출기보다 검출 강인성을 얼마나 향상시키는가?
• RQ4 제안된 동적 CCCP 알고리즘은 수동 초기화 없이 최적의 모델 아키텍처를 자동으로 결정할 수 있는가?

주요 결과

• UIUC-People 데이터셋에서 And-Or 그래프(AOG)는 평균 정밀도 56.20%를 달성하여 And-Or 트리(AOT) 기준선(53.84%)을 초월했다.
• INRIA-Horse 데이터셋에서 AOG 모델은 1.0 FPPI에서 89.6%의 재현율을 기록하여 경쟁 방법들(예: [21]에서 87.3%, [11]에서 85.27%)을 뛰어넘었다.
• ETHZ-Shape에서 본 방법은 다섯 개 카테고리 평균 평균 정밀도 0.898을 달성하여 이전 방법들([11]에서 0.771, [5]에서 0.712)을 능가했다.
• 동적 CCCP 알고리즘은 6~9회 반복 내에 수렴하였으며, 수동적인 구조 설계 없이 최적의 잎노드 및 or노드 구성 구성을 성공적으로 결정하였다.