[논문 리뷰] Exploiting Symmetry and/or Manhattan Properties for 3D Object Structure Estimation from Single and Multiple Images

Yuan Gao, Alan Yuille|arXiv (Cornell University)|2016. 07. 25.

Advanced Vision and Imaging참고 문헌 35인용 수 6

한 줄 요약

이 논문은 단일 및 다중 시야에서 3D 객체 구조 추정을 향상시키기 위해 대칭성과 다중 이미지를 활용하는 새로운 대칭 강건 구조에서 운동(Sym-RSfM) 방법을 제안한다. 대칭성을 고려한 에너지 최소화 문제를 수립하고, SVD를 통한 분해를 통해 강건한 초기화를 수행하는 방식으로, Pascal3D+에서 최신 기준 성능을 달성하며, 자동차, 항공기, 소파 등 다양한 객체 유형에서 형태 오차 및 회전 오차 측면에서 베이스라인 방법을 크게 능가한다.

ABSTRACT

Many man-made objects have intrinsic symmetries and Manhattan structure. By assuming an orthographic projection model, this paper addresses the estimation of 3D structures and camera projection using symmetry and/or Manhattan structure cues, which occur when the input is single- or multiple-image from the same category, e.g., multiple different cars. Specifically, analysis on the single image case implies that Manhattan alone is sufficient to recover the camera projection, and then the 3D structure can be reconstructed uniquely exploiting symmetry. However, Manhattan structure can be difficult to observe from a single image due to occlusion. To this end, we extend to the multiple-image case which can also exploit symmetry but does not require Manhattan axes. We propose a novel rigid structure from motion method, exploiting symmetry and using multiple images from the same category as input. Experimental results on the Pascal3D+ dataset show that our method significantly outperforms baseline methods.

연구 동기 및 목표

• 단일 프레임에서의 대칭성과 다중 이미지 신호를 하나의 프레임워크 안에서 융합하여 3D 객체 구조 추정 성능을 향상시키기.
• 대칭 제약 조건을 활용하여 페인팅 또는 키포인트가 손실된 경우의 3D 복원 과제를 해결하기.
• 대칭 기반의 구조에서 운동 문제에서 국소 최소값에 갇히는 것을 방지하는 강건한 최적화 전략을 개발하기.
• 실세계 객체 유형과 내부 클래스 변동성이 존재하는 Pascal3D+ 벤치마크에서 기존 방법을 능가하는 성능 확보하기.

제안 방법

• 손실된 키포인트를 위한 잠재 변수를 포함한 대칭 제약 조건을 통합한 확률적 에너지 최소화 문제를 수립한다.
• 대칭 키포인트 쌍을 그룹화하고 초기화 시 알려진 누락 데이터를 가정하는 서브stituted 에너지 함수를 도입한다.
• 서브stituted 에너지를 두 개의 독립된 항으로 분해하여, 각각이 특이값 분해(SVD)를 통해 효율적으로 최적화 가능하도록 한다.
• 두 단계 최적화 전략을 적용: 먼저 SVD를 사용해 서브stituted 에너지를 최소화하고, 이후 원래 에너지 함수에 대한 좌표 하강법을 통해 해를 정밀화한다.
• 직선 투영과 게이지 자유도를 활용해 대칭 축을 x축과 일치시켜 최적화 공간을 단순화한다.
• 관측되지 않은 키포인트를 잠재 변수로 간주하는 대칭성 인식 좌표 하강 알고리즘을 사용하여 노이즈 및 가림 현상에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 직선 투영 하에서 단일 이미지로부터 대칭성과 맨하탄 구조가 함께 3D 구조 복원을 가능하게 할 수 있는가?
• RQ2 맨하탄 구조가 신뢰할 수 없거나 가려진 경우, 다중 이미지 구조에서 운동 문제에서 대칭성을 효과적으로 활용할 수 있는가?
• RQ3 대칭 구조에서 운동 문제를 SVD로 해결 가능한 구성요소로 분해할 수 있는 서브stituted 에너지 함수를 설계할 수 있는가?
• RQ4 초기화 품질이 대칭 기반 3D 복원에서 수렴성과 정확도에 미치는 영향은 어떠한가?
• RQ5 실세계 데이터셋에서 제안된 방법이 기존 SfM 및 CSF 방법에 비해 강건성과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 Sym-RSfM 방법은 Pascal3D+ 데이터셋에서 대부분의 객체 유형에서 가장 낮은 평균 형태 오차를 기록했으며, 항공기(0.19), 자동차(0.81), 소파(0.22) 등에서 RSfM 및 CSF 기준선을 능가했다.
• 항공기의 경우, 평균 형태 오차를 RSfM의 1.17에서 0.19로 감소시켜 재구성 정확도 향상이 뚜렷하게 입증되었다.
• 소파의 경우, CSF(R)의 평균 형태 오차 2.27 대비 0.22를 기록하여 노이즈가 많거나 완전하지 않은 애너테이션에 대해 뛰어난 강건성을 보였다.
• 보조 자료에서 추가된 가우시안 노이즈 실험을 통해, 불완전한 키포인트 애너테이션에도 강건함을 입증했다.
• 서브stituted 에너지 분해 덕분에 효과적인 초기화가 가능해졌으며, 좌표 하강 최적화 과정에서 수렴성 향상과 국소 최소값 위험 감소에 기여했다.