[논문 리뷰] LS-Net: Learning to Solve Nonlinear Least Squares for Monocular Stereo

Ronald Clark, Michael Bloesch외 3명|arXiv (Cornell University)|2018. 09. 09.

Advanced Vision and Imaging참고 문헌 23인용 수 22

한 줄 요약

LS-Net는 단일 렌즈 스테레오에서 비선형 최소 제곱 문제를 해결하기 위해 데이터로부터 은닉된 사전 지식을 학습하는 엔드 투 엔드 학습 가능한 신경 최적화기이며, 높은 노이즈가 있는 과다 결정되지 않은 문제에서 기존의 Levenberg-Marquardt와 같은 전통적 방법보다 정확도, 속도, 강인성 면에서 뛰어나다.

ABSTRACT

Sum-of-squares objective functions are very popular in computer vision algorithms. However, these objective functions are not always easy to optimize. The underlying assumptions made by solvers are often not satisfied and many problems are inherently ill-posed. In this paper, we propose LS-Net, a neural nonlinear least squares optimization algorithm which learns to effectively optimize these cost functions even in the presence of adversities. Unlike traditional approaches, the proposed solver requires no hand-crafted regularizers or priors as these are implicitly learned from the data. We apply our method to the problem of motion stereo ie. jointly estimating the motion and scene geometry from pairs of images of a monocular sequence. We show that our learned optimizer is able to efficiently and effectively solve this challenging optimization problem.

연구 동기 및 목표

• 단일 렌즈 스테레오 재구성에서 애매하고 노이즈가 많은 비선형 최소 제곱 문제를 최적화하는 데 도전하는 것.
• 수작업으로 만든 정규화 및 사전 지식에 의존하지 않고 데이터로부터 이를 은닉적으로 학습하는 것.
• 광학적 최적화에서 수렴성과 강인성을 향상시키기 위해 미분 가능하고 엔드 투 엔드 학습 가능한 최적화기를 개발하는 것.
• 광학 일致성이 높은 단일 렌즈 시퀀스에서 운동과 깊이를 동시에 추정할 수 있도록 하는 것.
• 대규모 과다 결정되지 않은 문제에서 Levenberg-Marquardt와 같은 전통적 최적화기보다 정확도, 속도, 메모리 효율성 면에서 뛰어나게 하는 것.

제안 방법

• LS-Net는 잔차와 야코비안에서 최적화 업데이트를 직접 계산하는 딥 뉴럴 네트워크이며, 기존의 가우스-뉴턴 또는 Levenberg-Marquardt 단계를 대체한다.
• 합성 데이터에서 엔드 투 엔드로 훈련되어 광학 잔차를 최소화하며, 효과적인 정규화를 은닉적으로 학습한다.
• 반복 최적화 단계를 처리하기 위해 순환 구조를 사용하여 깊이 및 운동 추정치를 점진적으로 개선한다.
• 이 방법은 전체 이미지를 대상으로 하여 모든 픽셀의 광학 잔차를 활용하여 재구성 품질을 향상시킨다.
• 최적화기는 매개변수 효율적이며 빠르게 설계되어, 기존 방법의 행렬 역행렬 계산보다 인퍼런스 시간이 현저히 빠르다.
• 전통적인 최적화 구조(예: 헤시안 근사)와 신경 학습을 통합하여 정밀도와 강인성을 균형 잡는다.

실험 결과

연구 질문

• RQ1 학습된 최적화기가 Levenberg-Marquardt와 같은 전통적 비선형 최소 제곱 최적화기보다 단일 렌즈 스테레오에서 정확도와 수렴 속도 면에서 뛰어나게 할 수 있는가?
• RQ2 신경망이 명시적 지도 없이도 애매한 비선형 최소 제곱 문제에 효과적인 사전 지식과 정규화를 은닉적으로 학습할 수 있는가?
• RQ3 다양한 문제 크기(소형, 중형, 대형)와 노이즈 수준에서 학습된 최적화기의 성능 스케일링은 어떻게 되는가?
• RQ4 광학 일치성이 높고 기준 거리가 넓은 실제 단일 렌즈 시퀀스에서 이 방법이 높은 광학 일치성과 정확한 깊이 추정을 달성할 수 있는가?
• RQ5 기존의 학습 기반 및 전통적 접근법과 비교할 때 모델 크기, 인퍼런스 속도, 최적화 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• LS-Net는 KITTI, RGB-D, Sun3D 데이터셋 전반에서 평가 지표에서 최고의 성능을 기록하며, SIFT, FF, MATLAB, DeMoN 기준선을 모두 능가한다.
• KITTI 데이터셋에서 LS-Net는 L1-상대적 깊이 오차 0.210과 이동 오차 8.21을 기록하여 DeMoN(0.248 및 8.918)보다 뚜렷이 우수하다.
• 대규모 과다 결정되지 않은 문제(예: 128×96 이미지)에서 LS-Net는 최적화 시간을 LM의 532ms에서 25ms로 단축시키며 수렴성과 정확도를 향상시킨다.
• LS-Net는 DeMoN(1140만 대비 4570만 매개변수)보다 3배 이상 매개변수 효율적이며, 대규모 야코비안을 계산함에도 불구하고 인퍼런스 속도가 1.5배 더 빠르다.
• 제거 분석 결과 15개 최적화 단계에서 최고의 성능을 기록하며, L1-상대적 깊이 오차는 0.210으로 감소하고 이동 오차는 8.21로 낮아진다.
• DeMoN의 RNN 정밀화 네트워크와 비교해 LS-Net는 훨씬 적은 매개변수와 더 빠른 인퍼런스로 더 나은 또는 동등한 성능을 달성한다.