[논문 리뷰] Center of circle after perspective transformation

Xi Wang, Albert Chern외 1명|arXiv (Cornell University)|2019. 02. 12.

Gaze Tracking and Assistive Technology참고 문헌 1인용 수 5

한 줄 요약

이 논문은 눈의 동공과 홍채 경계선과 같은 동심 타원을 이용하여 사영 투영 후 원의 진짜 중심을 직접적이고 강건하게 계산하는 방법을 제안한다. 이는 원추곡선의 매끄러운 군의 사영 불변성을 활용한 것으로, 시뮬레이션 테스트에서 표준 타원 피팅 중심 추정보다 뛰어나 하위 픽셀 정확도(1 픽셀 이내 오차)를 달성한다.

ABSTRACT

Video-based glint-free eye tracking commonly estimates gaze direction based on the pupil center. The boundary of the pupil is fitted with an ellipse and the euclidean center of the ellipse in the image is taken as the center of the pupil. However, the center of the pupil is generally not mapped to the center of the ellipse by the projective camera transformation. This error resulting from using a point that is not the true center of the pupil directly affects eye tracking accuracy. We investigate the underlying geometric problem of determining the center of a circular object based on its projective image. The main idea is to exploit two concentric circles -- in the application scenario these are the pupil and the iris. We show that it is possible to computed the center and the ratio of the radii from the mapped concentric circles with a direct method that is fast and robust in practice. We evaluate our method on synthetically generated data and find that it improves systematically over using the center of the fitted ellipse. Apart from applications of eye tracking we estimate that our approach will be useful in other tracking applications.

연구 동기 및 목표

• 사영 왜곡으로 인해 영상 기반 눈 추적에서 타원 동공에 피팅된 유클리드 중심이 실제 3차원 동공 중심과 일치하지 않는 기본 오류를 해결한다.
• 카메라 모델에 대한 사전 지식 없이도 계산이 효율적이고 강건한 알고리즘을 개발하여, 사영 투영된 이미지에서 원형 물체의 진짜 중심을 복원한다.
• 사영 변환 하에서 두 동심 원의 이미지로 얻은 타원들로부터 원래의 동심 원의 중심과 반지름 비율이 유일하게 결정됨을 입증한다.
• 합성 데이터를 이용해 기존 타원 피팅 방법과의 중심 추정 정확도 향상을 정량화하여 성능을 평가한다.

제안 방법

• 투영된 동공과 홍채를 이미지 평면상의 두 타원으로 모델링하여, 두 동심 원의 사영 투영을 표현한다.
• 진짜 원의 중심은 사영 변환에 대해 불변이며, 두 타원이 정의하는 원추곡선 군(pencil of conics) 내에서 특정한 원추곡선에 대응됨을 이용한다.
• 이 원추곡선 군에서 유도된 고유값 문제로 문제를 수식화하여, 진짜 중심을 나타내는 유일한 타원(퇴화된 원)을 구한다.
• 고유값 문제의 해에서 중심과 반지름 비율을 직접 추출하여 빠르고 안정적인 계산을 가능하게 한다.
• 반지름 비율(홍채 대 동공)을 일관성 검증 도구로 사용하고, 타원 검출의 노이즈에 대한 강건성을 향상시킨다.
• 다양한 카메라 위치, 동공 크기, 시야각을 가진 합성 눈 영상에 대해 성능을 평가하기 위해 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 카메라 모델에 대한 사전 지식 없이도 반복 최적화에 의존하지 않고, 사영 투영된 타원에서 원형 물체의 진짜 중심을 복원할 수 있는가?
• RQ2 사영 변환 하에서 두 동심 원의 영상으로부터 원래 원의 중심이 유일하게 결정되는가?
• RQ3 다양한 사영 왜곡 조건에서 기존 타원 피팅 중심 추정 방법과 비교해 제안된 방법의 정확도는 어떠한가?
• RQ4 다양한 동공 크기와 카메라 시야각에서 합성 눈 추적 시나리오에 대해 이 방법이 강건하게 적용 가능한가?
• RQ5 이를 결합해 홍채 중심 추정을 통해 실제 눈 추적에서 굴절 왜곡을 고려할 수 있을 정도로 방법을 확장할 수 있는가?

주요 결과

• 진짜 원 중심은 두 동심 원의 사영 투영된 타원들로 구성된 원추곡선 군 내에서 퇴화된 원(conic)에 해당하므로, 유일하게 복원 가능하다.
• 합성 실험 전반에서 하위 픽셀 정확도를 확보하여, 모든 테스트된 카메라 위치와 동공 크기에서 추정 오차가 항상 1 픽셀 이내로 유지된다.
• 유럽 중심의 타원 피팅 결과와 비교해 제안된 방법은 특히 높은 사영 왜곡 조건에서 추정 오차를 크게 감소시킨다.
• 기울어진 시야각으로 인해 동공이 작거나 타원형으로 보일 경우에도 타원 피팅 방법이 종종 실패하거나 성능이 떨어지지만, 본 방법은 여전히 강건하다.
• 원래 동심 원의 반지름 비율(동공 대 홍채)도 신뢰성 있게 추정되며, 이는 내부 일관성 검증과 굴절 모델링 가능성을 제공한다.
• 반복 최적화를 사용하지 않고 직접 고유값 문제를 해결하므로 계산이 효율적이며, 실시간 응용에 적합하다.