[논문 리뷰] Pose and Shape Estimation with Discriminatively Learned Parts

Menglong Zhu, Xiaowei Zhou외 1명|arXiv (Cornell University)|2015. 02. 01.

Human Pose and Action Recognition참고 문헌 32인용 수 3

한 줄 요약

이 논문은 3D 랜드마크에 정렬된 구분 가능한 2D 파트 검출기 학습 및 기하 일致성과 외관 호환성 동시에 최적화함으로써 단일 이미지에서 3D 자세 및 형상 추정을 위한 통합 프레임워크를 제안한다. 희소 형상 기저와 ADMM 기반 볼록 최적화를 사용하여 FG3D Car 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 시점 추정에서 평균 APD가 3.4°이며 이전 방법보다 낮은 피팅 오차를 기록하였다.

ABSTRACT

We introduce a new approach for estimating the 3D pose and the 3D shape of an object from a single image. Given a training set of view exemplars, we learn and select appearance-based discriminative parts which are mapped onto the 3D model from the training set through a facil- ity location optimization. The training set of 3D models is summarized into a sparse set of shapes from which we can generalize by linear combination. Given a test picture, we detect hypotheses for each part. The main challenge is to select from these hypotheses and compute the 3D pose and shape coefficients at the same time. To achieve this, we optimize a function that minimizes simultaneously the geometric reprojection error as well as the appearance matching of the parts. We apply the alternating direction method of multipliers (ADMM) to minimize the resulting convex function. We evaluate our approach on the Fine Grained 3D Car dataset with superior performance in shape and pose errors. Our main and novel contribution is the simultaneous solution for part localization, 3D pose and shape by maximizing both geometric and appearance compatibility.

연구 동기 및 목표

• 단일 이미지에서 3D 자세와 형상을 동시에 추정하는 문제를 해결하여 이산 자세 클러스터링이나 초깃값 추정에 의존하지 않도록 하는 것.
• 3D 모델의 3D 랜드마크에 대응하는 2D 파트의 압축적이고 구분 가능한 표현을 학습하여 일반화 및 강인성을 향상시키는 것.
• 기하 재투영 오차와 외관 일치를 균형 잡는 동시에 파트 위치 추정, 3D 자세, 형상 계수를 동시에 최적화하는 것.
• 객체 클래스에 대한 사전 지식이나 명시적 3D 인스턴스 매칭 없이 정확한 3D 재구성과 시점 추정을 가능하게 하는 것.
• RANSAC과 비선형 최적화의 한계를 극복하기 위해 局부 최소값을 피하는 볼록 공식화를 사용하는 것.

제안 방법

• 3D 모델에서 투영된 3D 랜드마크에 중심을 둔 파트를 학습 이미지에서 구분 가능한 2D 파트 기저를 학습한다.
• 최대한의 구분 능력과 커버리지 확보를 위해 최소한의 대표성 있는 3D 랜드마크를 선택하기 위해 시설 위치 최적화를 사용한다.
• 학습 세트에서 유도된 기저 형상의 희소 선형 조합을 사용하여 반복적 형상 변형을 표현한다.
• 학습된 파트 검출기를 사용해 테스트 이미지에서 다수의 파트 가설을 검출한 후, 가시성 및 거리 기반의 정제를 수행한다.
• ADMM를 통해 해결하는 볼록 목표 함수를 정의하여 자세와 형상을 동시에 최적화한다. 이는 기하 재투영 오차와 외관 일치를 동시에 최소화한다.
• 형상 계수와 3D 회전 파rameter를 하나의 행렬 변수로 통합하여 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 학습된 구분 가능한 파트 모델이 3D 랜드마크에 효과적으로 매핑되어 공동 3D 자세 및 형상 추정이 가능할 수 있는가?
• RQ2 쌍별 제약 조건이나 이산 자세 초기화에 의존하지 않고 기하 일치성과 외관 호환성을 동시에 최적화할 수 있는가?
• RQ3 희소 형상 기저가 반복적 형상 변형을 효과적으로 모델링하면서도 예측되지 않은 인스턴스로의 일반화를 가능하게 할 수 있는가?
• RQ4 ADMM 기반 볼록 최적화 프레임워크가 국부 최소값을 피하고 정확도를 향상시키기 위해 비선형 비볼록 대안보다 뛰어난 성능을 보일 수 있는가?
• RQ5 이 방법이 훈련 중에 볼 수 없었던 새로운 객체 인스턴스로의 일반화 정도는 어느 정도인가?

주요 결과

• FG3DCar 데이터셋에서 평균 시점 추정 오차가 3.4°를 기록하여, 20° 및 40° 이산화 설계에서 V-DPM보다 뚜렷이 뛰어난 성능을 보였다.
• 52개의 선택된 구분 가능한 랜드마크에서, 형상 공간 기저를 사용하여 평균 APD가 14.6픽셀을 기록하였으며, 평균 형상 및 클래스 평균 기준선보다 뛰어났다.
• 52개의 자동으로 선택된 랜드마크로만 훈련되었음에도 불구하고, 전체 64개의 데이터셋 제공 랜드마크에 대해 FG3D 방법보다 피팅 오차를 감소시켰다.
• 픽업 트럭에 대해 FG3D 방법보다 뚜렷이 뛰어나, 높은 형상 변동성을 보이는 어려운 객체 유형에 대한 강인성을 입증하였다.
• 정성적 결과는 새로운 시점에서의 안정적인 3D 와이어프레임 투영과 텍스처가 적용된 3D 재구성 결과를 보여주며, 정확한 자세 및 형상 복원을 확인한다.
• 가시성 및 거리 기반 정제를 사용함으로써 가설 선택이 향상되어 최종 자세 및 형상 추정의 안정성과 정확도가 향상됨을 확인하였다.