[논문 리뷰] Eigendecomposition-free Training of Deep Networks with Zero Eigenvalue-based Losses

Zheng Dang, Kwang Moo Yi외 4명|arXiv (Cornell University)|2018. 03. 21.

Robotics and Sensor-Based Localization참고 문헌 31인용 수 6

한 줄 요약

이 논문은 네트워크가 예측한 행렬의 영공간에 해당하는 고유벡터를 기반으로 한 손실을 사용하여 고유분해를 필요로 하지 않는 방법을 제안한다. 명시적인 SVD/ED 계산을 피하는 미분 가능 손실을 정식화함으로써, 안정적이고 수렴 가능한 훈련이 가능해지고, 키포인트 매칭 및 PnP 기반 3D 자세 추정에서 최신 기술 수준의 성능을 달성한다. 이는 수치적 불안정성으로 인해 자주 수렴하지 못하는, 미분 가능한 고유분해에 의존하는 기존 방법들과는 대조적으로 성능을 뛰어넘는다.

ABSTRACT

Many classical Computer Vision problems, such as essential matrix computation and pose estimation from 3D to 2D correspondences, can be solved by finding the eigenvector corresponding to the smallest, or zero, eigenvalue of a matrix representing a linear system. Incorporating this in deep learning frameworks would allow us to explicitly encode known notions of geometry, instead of having the network implicitly learn them from data. However, performing eigendecomposition within a network requires the ability to differentiate this operation. Unfortunately, while theoretically doable, this introduces numerical instability in the optimization process in practice. In this paper, we introduce an eigendecomposition-free approach to training a deep network whose loss depends on the eigenvector corresponding to a zero eigenvalue of a matrix predicted by the network. We demonstrate on several tasks, including keypoint matching and 3D pose estimation, that our approach is much more robust than explicit differentiation of the eigendecomposition, It has better convergence properties and yields state-of-the-art results on both tasks.

연구 동기 및 목표

• 기하 제약 조건을 위해 미분 가능한 고유분해를 사용할 때 발생하는 수치적 불안정성과 수렴 불량 문제를 해결하기 위해.
• 명시적인 SVD 또는 고유값 분해 없이도 고유벡터 기반 손실을 직접 통합함으로써, 본질 행렬 및 PnP 해법과 같은 기하 사전 지식의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 고유값이 정확히 0이 아니거나 최적화 도중 고유벡터 할당이 바뀌는 경우에도 안정적으로 유지되는 완전히 미분 가능한 강력한 손실 함수를 개발하기 위해.
• 기본적인 미분 가능한 고유분해 방법들과 비교해 키포인트 매칭 및 3D 자세 추정 작업에서 더 나은 수렴성과 성능을 보여주기 위해.

제안 방법

• 네트워크가 예측한 행렬의 영공간을 기반으로 한 손실 함수를 정의하여, 고유값이 0인 고유벡터가 명시적인 고유분해 계산 없이도 참값과 일치하도록 보장한다.
• 행렬의 의사역행렬을 통한 영공간 제약의 미분 가능한 근사치를 사용함으로써, 명시적인 SVD 또는 고유값 분해가 필요 없도록 한다.
• 행렬에 의해 정의된 선형 시스템의 잔차에서 손실을 유도하며, 영공간 내의 벡터의 노름을 최소화함으로써 원하는 고유벡터에 해당한다.
• 실제 측정치에서는 고유값이 정확히 0이 되지 않기 때문에, 노이즈나 근사적인 0 고유값에 대해서도 안정성이 확보되어 있다.
• 의사역행렬 및 행렬 연산을 통해 역전파를 수행함으로써 딥 러닝 프레임워크에 통합하여 완전한 미분 가능성을 확보한다.
• 키포인트 매칭 및 PnP 문제에 적용되며, 네트워크가 대응 관계에 대한 가중치를 예측하고, 손실을 통해 결과 행렬의 영공간이 참값 기하 솔루션과 일치하도록 보장한다.

실험 결과

연구 질문

• RQ1 기하 제약 조건을 위해 미분 가능한 고유분해에 의존하지 않고도, 깊은 신경망이 영공간이 원하는 기하 솔루션과 일치하는 행렬을 생성하도록 훈련시킬 수 있는가?
• RQ2 명시적인 고유분해를 피할 경우, 기하 딥 러닝 작업에서 더 안정적이고 수렴 가능한 최적화가 이루어지는가?
• RQ3 행렬의 영공간을 기반으로 한 손실이, 키포인트 매칭 및 PnP 작업에서 수렴성과 정확도 측면에서 기존의 고유분해 기반 손실보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 실제 측정치에서 노이즈 또는 근사적인 0 고유값이 존재할 경우, 제안된 방법의 내구성은 어떠한가?

주요 결과

• 제안된 고유분해를 고려하지 않은 손실은 안정적으로 수렴하며, 키포인트 매칭에서 최신 기술 수준의 성능을 달성한다. 반면, 미분 가능한 고유분해를 사용하는 기존 방법들은 자주 수렴하지 못한다.
• PnP 작업에서는 최대 130개의 이상치(전체 매칭의 65%)가 존재하는 상황에서도 거의 0에 가까운 회전 및 이동 오차를 달성하며, 이상치 비율이 증가함에 따라 REPPnP 및 기타 기준선보다 뚜렷이 뛰어난 성능을 보였다.
• 그림 7에서 볼 수 있듯이, 명시적인 고유분해 기반 손실은 수렴하지 못했지만, 제안된 방법의 손실은 부드럽게 수렴하여 낮은 오차 값을 도달했다.
• 이론적으로 정확한 0 고유값이 필요하지 않기 때문에, 노이즈나 근사적인 0 고유값에 대해서도 제안된 방법은 내구성이 있다.
• 키포인트 매칭 및 PnP 작업 모두에서, EPnP, OPnP, PPnP, RPnP 및 REPPnP와 같은 현대적인 PnP 솔버들과 비교해 뛰어난 성능을 보였으며, 특히 이상치 비율이 높은 경우에 두드러진 성능 향상을 보였다.