[논문 리뷰] Optimal Multi-view Correction of Local Affine Frames

Iván Eichhardt, Dániel Baráth|arXiv (Cornell University)|2019. 05. 01.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 4

한 줄 요약

이 논문은 사전에 추정된 에피포라 기하학을 사용하여 다중 시점에서 국소 애핀 프레임(LAFs)을 보정하기 위한 폐쇄형 최소 제곱 최적 방법을 제안한다. 카메라 운동을 고려한 기하학적 일관성을 강제함으로써, SIFT 및 AKAZE와 같은 부분 애핀-공변 특징 검출기에서 생성된 LAF의 정확도를 크게 향상시켜, 호모지어피, 표면 법선 및 자세 추정과 같은 후속 작업을 향상시킨다.

ABSTRACT

The technique requires the epipolar geometry to be pre-estimated between each image pair. It exploits the constraints which the camera movement implies, in order to apply a closed-form correction to the parameters of the input affinities. Also, it is shown that the rotations and scales obtained by partially affine-covariant detectors, e.g., AKAZE or SIFT, can be completed to be full affine frames by the proposed algorithm. It is validated both in synthetic experiments and on publicly available real-world datasets that the method always improves the output of the evaluated affine-covariant feature detectors. As a by-product, these detectors are compared and the ones obtaining the most accurate affine frames are reported. For demonstrating the applicability, we show that the proposed technique as a pre-processing step improves the accuracy of pose estimation for a camera rig, surface normal and homography estimation.

연구 동기 및 목표

• 다중 시점 환경에서 애핀-공변 특징 검출기에서 생성된 국소 애핀 프레임(LAFs)의 정확도 부족 문제를 해결하기 위해.
• 사전 추정된 에피포라 기하학을 활용하여 서로 다른 시점 간 LAF 간 기하학적 일관성을 강제하기 위해.
• 노이즈가 있는 LAF를 보정함으로써, 호모지어피, 표면 법선 및 자세 추정과 같은 후속 시각 작업의 신뢰성 향상시키기 위해.
• 다양한 애핀-공변 검출기의 정확도를 평가하고 비교하기 위해.
• 제안된 보정 방법이 기하학적 시각 파ipeline에서 애핀 프레임을 사용할 때 보편적으로 유익한지 입증하기 위해.

제안 방법

• SIFT나 AKAZE와 같은 검출기에서 입력된 LAF를 취하고, 에피포라 제약 조건을 최소화하는 폐쇄형 해를 사용해 보정한다.
• 두 시점 간 대응 LAF 간의 변환은 특히 기본 행렬(fundamental matrix)에 의해 정의된 에피포라 기하학을 따라야 한다.
• 에피포라 선의 법선 벡터가 시점 간 일관되게 변환되도록 보장하며, 스케일링 요소는 기본 행렬에서 유도된다.
• 모든 이미지 쌍 간에 에피포라 기하학이 사전에 추정되어 있다고 가정하여, 반복 최적화 없이도 효율적인 보정이 가능하다.
• EG-L2-최적화 방법을 다중 시점으로 확장하여 모든 쌍 간 관계에서 일관된 보정을 가능하게 한다.
• 검출기가 LAF를 부분적으로만 추정하는 경우(예: SIFT는 척도와 방향은 제공하지만 전체 애핀 형상은 제공하지 않음)에도 적용 가능하며, 카메라 운동을 기반으로 일관되게 보완한다.

실험 결과

연구 질문

• RQ1 SIFT 및 AKAZE와 같은 부분 애핀-공변 검출기에서 검출된 국소 애핀 프레임(LAFs)의 정확도를 향상시키기 위해 폐쇄형 보정 방법이 효과적인가?
• RQ2 에피포라 기하학 제약 조건을 강제할 경우, 다중 시점 환경에서 LAF의 품질은 어떻게 영향을 받는가?
• RQ3 LAF를 보정함으로써 호모지어피, 표면 법선 및 자세 추정과 같은 후속 기하학적 시각 작업의 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 보정 방법을 사용할 때, 어떤 애핀-공변 검출기가 가장 정확한 LAF를 생성하는가?
• RQ5 이 보정 방법은 다양한 실세계 데이터셋과 작업에 걸쳐 강인하고 보편적으로 유익한가?

주요 결과

• 제안된 보정 방법은 평가된 모든 검출기에서 LAF 정확도를 향상시켰으며, Morel과 Yu(2009)의 뷰 시냅서와 조합된 AKAZE가 가장 정확한 결과를 도출했다.
• 헤르츠지제우스-p8 시나리오에서 표면 법선 추정 시, 보정된 LAF는 원본 LAF 대비 5° 이내의 각도 오차를 갖는 기능 수를 1.2배로 증가시켰다.
• KITTI 데이터셋을 사용한 상대 운동 추정에서, 보정된 LAF는 MSAC의 반복 수를 28회에서 26회로, LO+MSAC의 반복 수를 23회에서 22회로 줄여 속도와 강인성을 향상시켰다.
• 내측점 비율은 MSAC 기준 59.0%에서 60.4%로, LO+MSAC 기준 74.8%에서 75.2%로 증가하여 RANSAC 기반 추정의 일관성 향상을 보여주었다.
• 회전 오차와 이동 오차가 감소: 평균 회전 오차는 MSAC 기준 0.66°에서 0.61°로, LO+MSAC 기준 0.45°에서 0.38°로 감소했으며, 평균 이동 오차는 MSAC 기준 8.11°에서 7.31°로, LO+MSAC 기준 5.00°에서 4.18°로 감소했다.
• 모든 테스트된 데이터셋과 작업에서 일관되게 성능 향상을 보였으며, 기하학적 시각 파이프라인의 사전 처리 단계로서 광범위한 적용 가능성과 신뢰성을 입증했다.