[논문 리뷰] Translation of "Zur Ermittlung eines Objektes aus zwei Perspektiven mit innerer Orientierung" by Erwin Kruppa (1913)

Guillermo Gallego, Elias Mueggler외 1명|arXiv (Cornell University)|2017. 12. 25.

Advanced Vision and Imaging참고 문헌 2인용 수 5

한 줄 요약

이 논문은 교정된 스테레오 시각에서 상대 자세 추정을 위한 최초의 오점 알고리즘을 제시하며, 알려진 내부 캘리브레이션을 가진 두 개의 투시도에서 오점 대응 관계가 존재할 경우, 스케일을 제외한 강체 장면의 3차원 구조를 결정하는 데 충분하다고 증명한다. 크루파는 영상의 절대 포물선의 영상이 제약 조건이 되는 에피포라 기하학이 최대 11개의 해(후에 10개로 정밀화됨)를 제공함을 보여주었으며, 이는 현대 컴퓨터 비전에서의 상대 자세 및 자기 캘리브레이션 방법의 기초를 마련한다.

ABSTRACT

Erwin Kruppa's 1913 paper, Erwin Kruppa, "Zur Ermittlung eines Objektes aus zwei Perspektiven mit innerer Orientierung", Sitzungsberichte der Mathematisch-Naturwissenschaftlichen Kaiserlichen Akademie der Wissenschaften, Vol. 122 (1913), pp. 1939-1948, which may be translated as "To determine a 3D object from two perspective views with known inner orientation", is a landmark paper in Computer Vision because it provides the first five-point algorithm for relative pose estimation. Kruppa showed that (a finite number of solutions for) the relative pose between two calibrated images of a rigid object can be computed from five point matches between the images. Kruppa's work also gained attention in the topic of camera self-calibration, as presented in (Maybank and Faugeras, 1992). Since the paper is still relevant today (more than a hundred citations within the last ten years) and the paper is not available online, we ordered a copy from the German National Library in Frankfurt and provide an English translation along with the German original. We also adapt the terminology to a modern jargon and provide some clarifications (highlighted in sans-serif font). For a historical review of geometric computer vision, the reader is referred to the recent survey paper (Sturm, 2011).

연구 동기 및 목표

• 내부 카메라 파라미터(내부 정렬)가 알려진 상태에서 두 투시도에서의 강체 물체의 3차원 구조를 결정하기 위해.
• 알려진 캘리브레이션을 활용해, 캘리브레이션되지 않은 설정에서 요구되는 점 대응 수를 일곱 개에서 오각으로 줄이기 위해.
• 교정된 조건 하에서 상대 자세 및 3차원 복원에 대해 가능한 해의 수에 대한 이론적 상한을 설정하기 위해.
• 에피포라 기하학에서 절대 포물선의 영상(IAC)으로부터 발생하는 기하 제약 조건을 정식화하기 위해.
• 알려진 캘리브레이션을 활용한 오점 매칭을 통한 상대 자세 추정을 위한 엄밀한 수학적 프레임워크를 제공하기 위해.

제안 방법

• 크루파는 카메라의 알려진 캘리브레이션을 이용해 절대 포물선의 영상(IAC)을 결정하며, 이는 내부 파라미터를 코딩하고 유사변환에 대해 불변이다.
• 그는 포물선 영상에 대한 에피포라 제약 조건을 수립한다: 각 영상에서 IAC에 접선인 두 쌍의 에피포라 선은 사영 변환에 의해 대응되어야 한다.
• 이러한 포물선 기반 제약 조건은 오점 대응 관계 외에 두 개의 추가 방정식을 제공하며, 이는 에피포라 기하학의 해를 구하는 데 기여한다.
• 해는 양쪽 영상에서 IAC에 접선인 직선들의 사영 대응으로 유도된 다항식 방정식계를 풀어 얻는다.
• 에피포라 기하학으로부터 스케일을 제외한 상대 자세가 복구되며, 이에 따라 3차원 장면 구조가 재구성된다.
• 기준선을 중심으로 180도 회전에 의한 회전 대칭성을 고려하여 다중 해를 처리한다.

실험 결과

연구 질문

• RQ1 카메라 캘리브레이션이 알려진 상태에서 오점 대응 관계만으로도 강체 물체의 상대 자세와 3차원 구조를 결정할 수 있는가?
• RQ2 교정된 오점 문제에서 상대 자세에 대해 가능한 최대 해의 수는 얼마인가?
• RQ3 절대 포물선의 영상(IAC)에서 유도된 제약 조건은 에피포라 기하학의 자유도를 어떻게 줄이는가?
• RQ4 기준선을 중심으로 180도 회전이 재구성된 3차원 형태에 영향을 주지 않는 이유는 무엇이며, 이는 해의 다중성에 어떤 영향을 미치는가?
• RQ5 알려진 카메라 캘리브레이션은 오직 오점 매칭만으로도 에피포라 기하학을 해결하기에 충분한 제약 조건을 제공하는가?

주요 결과

• 두 교정된 투시도 사이의 오점 대응 관계는 스케일을 제외한 강체 물체의 상대 자세와 3차원 구조를 결정하는 데 충분하다.
• 상대 자세에 대한 가능한 해의 수는 최대 11개로 제한되며, 기준선을 중심으로 180도 회전에 의한 대칭성으로 인해 후에 10개의 서로 다른 해로 정밀화되었다.
• 절대 포물선의 영상(IAC)은 오점 매칭과 함께 에피포라 기하학을 완전히 결정하는 데 두 개의 추가 제약 조건을 제공한다.
• 이 방법은 후에 니스터(2004)에 의해 정식화된 현대 컴퓨터 비전에서의 오점 알고리즘에 기초가 되는 프레임워크를 설정한다.
• 이 작업은 자기 캘리브레이션을 위한 이론적 기초를 마련하였으며, 이후 메이번과 포지에르스는 동일한 에피포라 제약 조건을 반대로 적용하여 이를 확장하였다.
• 해는 유사변환에 대해 불변이며, 추가 제약 조건이 없으면 진짜 스케일을 복원할 수 없다.