[논문 리뷰] RegNet: Learning the Optimization of Direct Image-to-Image Pose Registration

Lei Han, Mengqi Ji외 2명|arXiv (Cornell University)|2018. 12. 26.

Advanced Vision and Imaging참고 문헌 33인용 수 14

한 줄 요약

RegNet는 직접적인 이미지 간 자세 등록을 위해 특징 표현과 야코비안 행렬을 동시에 학습하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 수작업으로 구성된 수치적 야코비안 대신 학습된 편미분을 사용함으로써, 이중 최적화를 통해 더 빠르고 더 견고한 수렴을 가능하게 하며, 특히 큰 기준선을 가진 이미지 쌍에서 뛰어난 성능을 발휘한다. 이로 인해 정확도가 향상되고, 初기 재투영 오차가 30% 이상인 경우에도 40%의 성공률을 기록하며 기존 기준 방법들을 능가한다.

ABSTRACT

Direct image-to-image alignment that relies on the optimization of photometric error metrics suffers from limited convergence range and sensitivity to lighting conditions. Deep learning approaches has been applied to address this problem by learning better feature representations using convolutional neural networks, yet still require a good initialization. In this paper, we demonstrate that the inaccurate numerical Jacobian limits the convergence range which could be improved greatly using learned approaches. Based on this observation, we propose a novel end-to-end network, RegNet, to learn the optimization of image-to-image pose registration. By jointly learning feature representation for each pixel and partial derivatives that replace handcrafted ones (e.g., numerical differentiation) in the optimization step, the neural network facilitates end-to-end optimization. The energy landscape is constrained on both the feature representation and the learned Jacobian, hence providing more flexibility for the optimization as a consequence leads to more robust and faster convergence. In a series of experiments, including a broad ablation study, we demonstrate that RegNet is able to converge for large-baseline image pairs with fewer iterations.

연구 동기 및 목표

• 광학적 오차 최소화를 통한 직접적인 이미지 간 자세 정렬에서 수렴 범위가 제한되고 초기화에 민감한 문제를 해결한다.
• 나쁜 초기 정렬 조건에서 수치적 야코비안의 부정확성을 극복하기 위해 특징 표현과 함께 야코비안을 엔드 투 엔드로 학습한다.
• 최적화 중 특징 공간과 야코비안 행렬을 제약하여 최적화의 견고성과 수렴 속도를 향상시킨다.
• 자세 정렬을 위한 특징 표현과 도함수 계산을 동시에 최적화하는 신경망의 엔드 투 엔드 학습을 가능하게 한다.
• 큰 기준선을 가진 이미지 쌍과 나쁜 초기화 조건을 가진 도전적인 데이터셋에서 뛰어난 성능을 입증한다.

제안 방법

• 입력 이미지 쌍에서 각 픽셀에 대해 특징 맵과 야코비안 행렬을 동시에 예측하는 새로운 신경망 아키텍처인 RegNet을 제안한다.
• 기존의 수치 미분을 대체하여 넓은 수신장으로 공간적 맥락을 포착하는 학습된 야코비안 네트워크를 사용한다.
• 학습된 야코비안을 레벤버그-마르카르트 최적화 루프에 통합하여 자세 보정을 위한 기울기 업데이트를 계산한다.
• 재투영 오차를 감독 신호로 사용하여 특징과 도함수를 함께 최적화하는 엔드 투 엔드 학습을 수행한다.
• 에너지 표면을 제약하기 위해 특징 거리 척도와 그 편미분을 함께 학습함으로써 더 최적화하기 쉬운 비용 함수를 도출한다.
• 깊이 추정을 초기 자세 사전 지식으로 사용한 후, 학습된 최적화 역학을 통해 반복적으로 상대적 변환을 정밀하게 보정한다.

실험 결과

연구 질문

• RQ1 특징 표현과 야코비안 행렬의 공동 학습이 직접적인 이미지 간 자세 정렬에서 수렴 범위를 향상시키는가?
• RQ2 수치적 야코비안을 학습된 편미분으로 대체하면 최적화가 더 빠르고 더 견고한가?
• RQ3 특히 큰 기준선을 가진 이미지 쌍에서 나쁜 초기 정렬 조건 하에서 제안된 방법의 성능은 어떠한가?
• RQ4 최적화 과정의 엔드 투 엔드 학습이 별도의 특징 학습과 수치적 미분보다 더 높은 정렬 정확도를 제공하는가?
• RQ5 학습된 야코비안은 에너지 표면에 어떤 영향을 미치며, 이는 수렴 속도와 견고성에 어떻게 영향을 주는가?

주요 결과

• RegNet는 初기 재투영 오차가 30% 이상인 이미지 쌍을 정렬하는 데 40%의 성공률을 기록하며, 이러한 조건에서 완전히 실패하는 기존 기준 방법들을 크게 능가한다.
• RegNet는 기존 방법보다 재투영 오차를 더 효과적으로 감소시키며, 오차의 누적분포에서 모든 임계값에서 가장 작은 오차를 보인다.
• 특징과 야코비안의 공동 학습 덕분에 더 빠른 수렴이 가능하여 고정밀도 정렬을 달성하기 위해 필요한 최적화 반복 수가 줄어든다.
• 수치적 야코비안을 사용하는 기준 방법과 비교했을 때, RegNet는 고정밀도 정렬에서 뛰어난 성능을 보이며 특징의 과도한 스무딩이 적음을 시사한다.
• 나쁜 초기화 상태에서도 학습된 야코비안은 더 나은 기울기 방향을 제공하여 더 안정적이고 정확한 최적화 경로를 이끈다.
• 정성적 결과에서는 RegNet가 Demon보다 더 가벼운 광학적 오차 맵을 생성함으로써 더 뛰어난 이미지 정렬 품질을 제공함을 보여준다.