[논문 리뷰] Learning And-Or Models to Represent Context and Occlusion for Car Detection and Viewpoint Estimation

Tianfu Wu, Bo Li외 1명|arXiv (Cornell University)|2015. 01. 29.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 5

한 줄 요약

이 논문은 강한 감독 없이도 차량의 맥락과 가림 상태를 계층적으로 학습할 수 있는 And-Or 모델을 제안한다. 다중 차량 레이아웃, 단일 차량 가림 구성, 부분 수준의 가시성 패턴을 재구성 가능한 방향성 비순환 그래프로 모델링함으로써, 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 검출 성능을 달성하고, 시점 추정에서도 경쟁적인 성능을 보이며, CAD 시뮬레이션과 약한 레이블 기반 구조적 서포트 벡터 머신(WLSSVM)을 활용해 공동 파rameter 학습을 수행한다.

ABSTRACT

This paper presents a method for learning And-Or models to represent context and occlusion for car detection and viewpoint estimation. The learned And-Or model represents car-to-car context and occlusion configurations at three levels: (i) spatially-aligned cars, (ii) single car under different occlusion configurations, and (iii) a small number of parts. The And-Or model embeds a grammar for representing large structural and appearance variations in a reconfigurable hierarchy. The learning process consists of two stages in a weakly supervised way (i.e., only bounding boxes of single cars are annotated). Firstly, the structure of the And-Or model is learned with three components: (a) mining multi-car contextual patterns based on layouts of annotated single car bounding boxes, (b) mining occlusion configurations between single cars, and (c) learning different combinations of part visibility based on car 3D CAD simulation. The And-Or model is organized in a directed and acyclic graph which can be inferred by Dynamic Programming. Secondly, the model parameters (for appearance, deformation and bias) are jointly trained using Weak-Label Structural SVM. In experiments, we test our model on four car detection datasets --- the KITTI dataset \cite{Geiger12}, the PASCAL VOC2007 car dataset~\cite{pascal}, and two self-collected car datasets, namely the Street-Parking car dataset and the Parking-Lot car dataset, and three datasets for car viewpoint estimation --- the PASCAL VOC2006 car dataset~\cite{pascal}, the 3D car dataset~\cite{savarese}, and the PASCAL3D+ car dataset~\cite{xiang_wacv14}. Compared with state-of-the-art variants of deformable part-based models and other methods, our model achieves significant improvement consistently on the four detection datasets, and comparable performance on car viewpoint estimation.

연구 동기 및 목표

• 크고 다양한 구조적 및 외관적 변형, 특히 가림 상태와 맥락적 종속성으로 인한 차량 검출 과제를 해결하기 위해.
• 완전한 인스턴스 수준 레이블이 필요 없이 다중 차량 맥락 패턴과 단일 차량 가림 구성 양자를 통합된 모델로 학습하기 위해.
• 완전한 바운딩 박스 레이블만을 사용하여도 무거운 가림 상태와 시점 변형이 있는 환경에서도 강건한 차량 검출 및 시점 추정을 가능하게 하기 위해.
• 검출된 구성에 따라 동적으로 외관 템플릿을 조합할 수 있는 재구성 가능한 계층적 모델을 개발하기 위해.
• 부분의 가시성과 가림 규칙을 모델링하기 위해 CAD 기반 합성 데이터 생성을 통합하기 위해.

제안 방법

• And-Or 모델은 다중 차량 레이아웃, 단일 차량 가림 구성, 부분 수준의 가시성 패턴이라는 세 수준의 계층적 구조를 가진 방향성 비순환 그래프로 구성된다.
• 다중 차량 맥락 패턴은 레이블이 부여된 단일 차량의 바운딩 박스 레이아웃에서 추출되며, 공간적 정렬과 공존 통계를 캡처한다.
• 가림 구성은 CAD 모델을 사용해 차량 간 상대 위치와 카메라 시점 조건을 다양한 방식으로 시뮬레이션함으로써 학습된다.
• 부분 수준의 가시성 조합은 문법 기반 계층으로 모델링되어 추론 중에 재구성 가능한 외관 템플릿 조합이 가능하다.
• 모델 구조는 맥락 및 가림 패턴의 무 supervision 추출을 통해 학습되고, 이후 약한 레이블 기반 구조적 서포트 벡터 머신(WLSSVM)을 사용해 외관, 변형, 편향 파라미터를 공동으로 학습한다.
• 효율적인 추론을 위해 동적 프로그래밍이 사용되며, 검출된 구성에 따라 실시간으로 템플릿을 조합할 수 있다.

실험 결과

연구 질문

• RQ1 통합된 And-Or 모델이 재구성 가능한 계층적 방식으로 다중 차량 맥락과 단일 차량 가림 구성 양자를 효과적으로 표현할 수 있는가?
• RQ2 바운딩 박스 레이블만으로 학습된 약한 감독 모델이 무거운 가림 상태가 있는 복잡한 실제 세계의 차량 검출 시나리오에 얼마나 잘 일반화되는가?
• RQ3 CAD 시뮬레이션을 통한 가림 패턴 통합이 검출 및 시점 추정 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 모델이 최신 기술 수준의 검출 정확도를 달성하면서도 경쟁적인 시점 추정 성능도 유지할 수 있는가?
• RQ5 And-Or 구조의 재구성 가능성은 고정된 구조를 가진 모델(예: 변형 가능한 부분 모델)에 비해 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 And-Or 모델은 KITTI, PASCAL VOC2007, Street-Parking, Parking-Lot 네 개의 차량 검출 데이터셋에서 최신 기술 수준의 검출 성능를 달성하였으며, 기준 DPM 및 VDPM 대비 mAP 향상을 보였다.
• KITTI 데이터셋에서 모델은 43.2%의 mAP를 기록하여 VDPM(36.1%) 및 DPM-VOC+VP(36.1%)를 크게 앞서며, 가림 상태 하에서도 강력한 일반화 능력을 입증했다.
• PASCAL3D+ 데이터셋에서 모델은 평균 정밀도(AP) 41.1%와 평균 시점 정밀도(AVP) 22.9%를 기록하여 VDPM 및 decaf를 초월했으며, 고급 CAD 기반 모델과 동등한 성능을 보였다.
• PASCAL VOC2006 및 3D Object 데이터셋에서 모델은 최신 기술 수준의 방법과 유사한 시점 추정 성능을 달성했으며, MPPE 점수는 각각 42.1%와 36.1%였다.
• CAD 시뮬레이션을 통한 가림 구성 통합과 약한 감독 기반 WLSSVM 학습을 통해 완전한 레이블 없이도 부분의 가시성과 변형을 효과적으로 모델링할 수 있었다.
• And-Or 모델의 재구성 가능성 덕분에 다양한 가림 상태와 맥락 패턴을 가진 실제 환경에서도 외관 템플릿을 동적으로 조합할 수 있었으며, 이는 성능 향상에 핵심적인 역할을 했다.