[논문 리뷰] 3D Shape Estimation from 2D Landmarks: A Convex Relaxation Approach

Xiaowei Zhou, Spyridon Leonardos외 2명|arXiv (Cornell University)|2014. 11. 11.

Advanced Vision and Imaging참고 문헌 40인용 수 9

한 줄 요약

이 논문은 3D 형태 추정을 위해 2D 랜드마크에서 회전 가능한 기저 형태를 통해 형태 변형을 모델링하고, 문제를 스펙트럴 노름 정규화된 볼록 프로그래밍으로 재구성함으로써 국소 최적해에 갇히기 쉬운 비볼록 대안들보다 전역 최적성과 뛰어난 성능을 달성하는 볼록 리 릴랙세이션 방법을 제안한다. 이는 인간 자세 및 자동차 형태 복원에서 나쁜 초기화 조건 하에서도 성능을 발휘한다.

ABSTRACT

We investigate the problem of estimating the 3D shape of an object, given a set of 2D landmarks in a single image. To alleviate the reconstruction ambiguity, a widely-used approach is to confine the unknown 3D shape within a shape space built upon existing shapes. While this approach has proven to be successful in various applications, a challenging issue remains, i.e., the joint estimation of shape parameters and camera-pose parameters requires to solve a nonconvex optimization problem. The existing methods often adopt an alternating minimization scheme to locally update the parameters, and consequently the solution is sensitive to initialization. In this paper, we propose a convex formulation to address this problem and develop an efficient algorithm to solve the proposed convex program. We demonstrate the exact recovery property of the proposed method, its merits compared to alternative methods, and the applicability in human pose and car shape estimation.

연구 동기 및 목표

• 2D 랜드마크로부터의 동시 3D 형태 및 카메라 자세 추정에서 비볼록 최적화 문제에 도전한다.
• 기존 비볼록 방법에서 사용되는 교차 최소화 기반 알고리즘의 초기화에 대한 민감성 문제를 해결한다.
• 스펙트럴 노름 정규화를 사용하여 문제를 볼록 프로그래밍으로 재구성함으로써 전역 최적 해를 도출한다.
• 기본 형태에서 크게 벗어난 형태일 경우에도 정확한 3D 형태 복원을 가능하게 한다.
• 형태 공간 모델에서 기존 비볼록 피팅 방법에 대한 강건하고 효율적인 대안을 제공한다.

제안 방법

• 각 형태를 회전 가능한 기저 형태의 선형 조합으로 표현하는 확장된 형태 공간 모델을 도입하여 내재적 변형과 외재적 시점 변화를 모두 선형적으로 모델링한다.
• 회전 행렬에 대한 비볼록 직교 제약 조건을 볼록 스펙트럴 노름 정규화로 대체하여 문제를 볼록 프로그래밍으로 완화한다.
• 유도된 볼록 최적화 문제를 효율적으로 해결하기 위해 분할 상환 다중승수 방법(ADMM)을 사용한다.
• 스펙트럴 노름 정규화를 포함한 선형 역문제 설정을 통해 리 릴랙세이션으로 인한 유효하지 않은 해를 억제한다.
• 형태 매개변수와 자세 매개변수의 동시 추정을 단일 볼록 최적화 작업으로 처리함으로써 반복적 교차 업데이트를 피한다.
• 볼록 리 릴랙세이션 이론에 기반하여 대부분의 경우 원래 제약 조건을 만족하는 해를 보장하며, 정확한 강제 적용을 위해 후처리가 가능하다.

실험 결과

연구 질문

• RQ1 볼록 리 릴랙세이션 접근법이 2D 랜드마크로부터 3D 형태 추정에서 국소 최적해에 갇히기 쉬운 비볼록 방법을 피할 수 있는 전역 최적성을 달성할 수 있는가?
• RQ2 목표 형태가 평균 형태에서 크게 떨어져 있을 경우, 특히 나쁜 초기화 조건에서 제안된 방법의 3D 형태 복원 성능은 어떠한가?
• RQ3 표준 비볼록 최적화에 비해 스펙트럴 노름 정규화가 3D 형태 피팅의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 최소한의 재파arameterization로 인간, 세단, SUV, 픽업 트럭 등의 다양한 물체 유형에 일반화 가능한가?
• RQ5 기존 비볼록 대안들인 교차 최소화 또는 PMP와 비교해 볼 때 제안된 볼록 방법의 계산 효율성은 어떠한가?

주요 결과

• 합성 실험에서 제안된 방법이 정확한 복원을 달성하여 볼록 리 릴랙세이션 접근법의 이론적 타당성을 입증한다.
• 인간 자세 추정에서, 교차 최소화 및 PMP 알고리즘보다 성능이 뛰어나며, 프레임당 0.33초의 계산 시간을 기록하여 각각 0.44초 및 3.02초보다 빠르다.
• 자동차 복원에서, 세단, SUV, 픽업 트럭 등 다양한 차량 유형에 대해 임의의 초기화 조건에서도 정확한 3D 모델을 생성하지만, 기준 방법은 비세단 모델에서는 실패한다.
• 기본 형태에서 크게 벗어난 형태에서도 높은 정확도를 유지하며, 다른 방법들이 심하게 성능이 저하되는 것을 고려할 때 형태 변동성에 대한 강건성을 보여준다.
• 모든 결과는 정밀 조정 없이 볼록 솔버에서 직접 도출되었으며, 대부분의 경우 원래 제약 조건을 만족하는 것으로 확인되어 리 릴랙세이션의 타이트함을 검증한다.