[논문 리뷰] Estimating Small Differences in Car-Pose from Orbits

Berkay Kicanaoglu, Ran Tao외 1명|arXiv (Cornell University)|2018. 09. 03.

3D Shape Modeling and Analysis인용 수 3

한 줄 요약

이 논문은 잠재 공간 내에서 객체 시각의 궤도를 생성하고 비교함으로써 자동차의 미세한 자세 차이를 추정하기 위한 군론적 방법을 제안한다. 새로운 궤도 거리 측정법을 사용하여 등변성, 기약불가능한 표현을 통해 상대 자세 차이를 학습함으로써, 특히 근접하거나 대칭적인 자세를 구분하는 데 뛰어난 성능을 기록하며 최신 기술 수준(SOTA)을 초월한다.

ABSTRACT

Distinction among nearby poses and among symmetries of an object is challenging. In this paper, we propose a unified, group-theoretic approach to tackle both. Different from existing works which directly predict absolute pose, our method measures the pose of an object relative to another pose, i.e., the pose difference. The proposed method generates the complete orbit of an object from a single view of the object with respect to the subgroup of SO(3) of rotations around the z-axis, and compares the orbit of the object with another orbit using a novel orbit metric to estimate the pose difference. The generated orbit in the latent space records all the differences in pose in the original observational space, and as a result, the method is capable of finding subtle differences in pose. We demonstrate the effectiveness of the proposed method on cars, where identifying the subtle pose differences is vital.

연구 동기 및 목표

• 교통 상황에서 안전성에 중요한 영향을 미치는 바탕이 되는 미세한 자세 차이와 대칭 자세를 식별하는 데 어려움을 해결하기 위해.
• 절대 자세 추정 방법의 한계를 극복하여, 서로 다른 시각 간의 미세한 상대적 변화를 포착하지 못하는 문제를 해결하기 위해.
• 근접 및 대칭 자세 차이를 궤도 기반 표현을 통해 상대적 차이로 통합된 프레임워크로 다루기 위해.
• 훈련 시 합성 데이터와 실재 데이터를 활용하여 데이터 의존도를 줄이고, 강인한 자세 추정을 가능하게 하기 위해.
• 기존 방법이 회전 대칭성과 미세한 시각적 단서로 인해 어려움을 겪는 볼록하거나 관 형태의 자동차 형태에서의 성능 향상을 위해.

제안 방법

• SO(3) 회전에 따라 단일 시각 입력에 대해 z축을 중심으로 회전을 적용함으로써 잠재 공간 내에서 궤도를 구성하여, 객체가 가능한 모든 시각을 표현한다.
• 기하학적 관계를 다양한 시각 간에 유지하는 등변성, 기약불가능성, 해석 가능한 잠재 표현을 학습하기 위해 딥 네트워크를 사용한다.
• 두 개의 객체 궤도를 비교하고 그 사이의 상대적 회전(자세 차이)를 추정하기 위해 새로운 궤도 거리 측정법을 도입한다.
• 알려진 자세를 가진 객체의 다수의 시각을 사용하여 네트워크를 훈련함으로써 단일 시각 추론으로의 일반화를 가능하게 한다.
• 데이터 요구량을 줄이면서도 성능을 유지하기 위해 합성 CAD 모델과 실재 이미지를 활용한다.
• 회전에 대해 일관되게 변형되도록 네트워크를 설계함으로써 등변성을 확보하고, 잠재 공간 내에서 자세 관계를 유지한다.

실험 결과

연구 질문

• RQ1 통합된 군론적 접근이 객체 인식에서 미세한 자세 차이와 대칭 자세를 효과적으로 구분할 수 있는가?
• RQ2 궤도 기반 표현 학습은 절대 자세 회귀 대비 미세한 자세 변화를 다룰 때 어떻게 비교되는가?
• RQ3 단일 시각 입력이 3차원 공간 내의 모든 상대 자세 관계를 충분히 잘 포괄하는 신뢰할 수 있는 궤도를 생성할 수 있는가?
• RQ4 제안된 궤도 거리 측정법이 근접 자세(15°–30° 오차)와 반대 자세(>165° 오차)를 구분하는 데 기존 방법을 능가할 수 있는가?
• RQ5 한정된 실재 데이터를 바탕으로 하더라도, 특히 대칭적이거나 볼록한 객체의 경우, 이 방법이 실제 도로 상의 자동차 이미지로 잘 일반화되는가?

주요 결과

• EPFL 데이터셋에서 36개 자세 박스를 사용할 때 54.0%의 정확도를 기록하여 DPM 및 피셔 기반 접근 방식과 같은 이전 최신 기술 수준(SOTA) 방법을 능가한다.
• PASCAL3D+ 자동차 데이터셋에서 28.3%의 AVP-24 정확도를 달성하여, 유사한 네트워크 용량을 가진 DPM 기반 및 CNN 기반 기준선을 초월한다.
• 비교된 모든 방법 중에서 가장 낮은 근접 시각 오차율(9.6%)을 기록하여, 미세한 자세 차이를 구분하는 능력이 뛰어나다는 것을 보여준다.
• 반대 시각 오차율이 상대적으로 낮은 8.9%를 기록하여, 관건점 애너테이션을 사용하지 않았음에도 불구하고 DPM 및 후프 포레스트 기반 방법을 능가한다.
• 시각화 결과는 잠재 공간 내 궤도가 원래 관측 공간에서의 자세 변화를 충실하게 표현하며, 등변성이 상대 자세 관계를 유지함을 확인한다.
• 기존 방법이 회전 대칭성으로 인해 실패하는 경우에도, 이 방법은 대칭적이거나 볼록한 자동차 형태에서조차 미세한 차이를 효과적으로 포착한다.