[논문 리뷰] DSAC - Differentiable RANSAC for Camera Localization

Eric Brachmann, Alexander Krull외 5명|arXiv (Cornell University)|2016. 11. 17.

Robotics and Sensor-Based Localization참고 문헌 38인용 수 12

한 줄 요약

이 논문은 카메라 위치 추정을 위한 딥러닝 파이프라인의 엔드 투 엔드 학습을 가능하게 하는, RANSAC의 미분 가능한 변종인 DSAC을 소개한다. RANSAC의 하드 가설 선택을 확률적이고 미분 가능한 선택 과정으로 대체함으로써, DSAC은 강력한 추정 단계를 통해 역전파를 허용하며, 7-Scenes 데이터셋에서 최신 기술 대비 정확도 7.3% 향상을 이룬다.

ABSTRACT

RANSAC is an important algorithm in robust optimization and a central building block for many computer vision applications. In recent years, traditionally hand-crafted pipelines have been replaced by deep learning pipelines, which can be trained in an end-to-end fashion. However, RANSAC has so far not been used as part of such deep learning pipelines, because its hypothesis selection procedure is non-differentiable. In this work, we present two different ways to overcome this limitation. The most promising approach is inspired by reinforcement learning, namely to replace the deterministic hypothesis selection by a probabilistic selection for which we can derive the expected loss w.r.t. to all learnable parameters. We call this approach DSAC, the differentiable counterpart of RANSAC. We apply DSAC to the problem of camera localization, where deep learning has so far failed to improve on traditional approaches. We demonstrate that by directly minimizing the expected loss of the output camera poses, robustly estimated by RANSAC, we achieve an increase in accuracy. In the future, any deep learning pipeline can use DSAC as a robust optimization component.

연구 동기 및 목표

• RANSAC을 강력한 추정 구성 요소로 포함하는 딥러닝 파이프라인의 엔드 투 엔드 학습을 가능하게 하기 위해, 기존에 비가역적인 RANSAC의 가환성을 개선한다.
• 기울기 기반 최적화를 위한 RANSAC의 가설 선택(최대값 선택)의 비가환성 문제를 해결한다.
• RANSAC의 하드 선택 행동을 유지하면서 기울기 흐름을 허용하는, 가환성 있는 RANSAC 변종을 개발한다.
• RANSAC로 추정한 자세의 기대 손실을 직접 최소화함으로써 카메라 위치 추정 정확도를 향상시킨다.
• 과적합을 방지하고 강력성을 유지하는 데서, 확률적 가설 선택이 소프트 argmax보다 우수한가를 입증한다.

제안 방법

• 소프트 argmax(가설의 가중 평균) 및 확률적 선택(가환성 있는 샘플링을 통한 하드 선택)을 포함한 두 가지 가환성 있는 RANSAC 변종을 제안한다.
• 가설 선택을 학습 가능한 확률 분포를 가진 확률적 과정으로 간주하는 DSAC을 도입한다.
• 정책 기반 기울기 역전파를 사용하여 기대 손실에 대한 네트워크 가중치에 대한 기울기를 계산함으로써, 엔드 투 엔드 학습을 가능하게 한다.
• 두 개의 스트림으로 구성된 CNN 아키텍처를 사용한다: 하나는 장면 좌표를 예측하고, 다른 하나는 가설을 평가하며, DSAC을 통해 연결된다.
• 재구성 기법과 로그 도함수 기법을 사용하여 기울기를 유도하며, 기대 손실과 확률 기울기의 핵심 수식(Eq. 13–14)을 제공한다.
• 장면 좌표 회귀 숲을 사용한 카메라 위치 추정에 이 방법을 적용하며, 기존 RANSAC 대신 DSAC을 사용해 자세 추정을 수행한다.

실험 결과

연구 질문

• RQ1 RANSAC을 가환성 있게 만들 수 있을까? 이를 통해 딥러닝 파이프라인의 엔드 투 엔드 학습이 가능해지는가?
• RQ2 DSAC의 확률적 가설 선택은 기존 RANSAC의 강력성을 유지하면서 기울기 기반 최적화를 가능하게 하는가?
• RQ3 소프트 argmax 기반의 가환성 RANSAC과 비교할 때, DSAC의 일반화 능력과 강력성은 어떠한가?
• RQ4 DSAC은 자세 추정의 기대 손실을 직접 최소화함으로써 카메라 위치 추정 정확도를 향상시킬 수 있는가?
• RQ5 DSAC은 무늬가 없는 표면, 운동 왜곡, 반복 구조 등의 도전적인 실세계 조건에서도 성능을 유지하는가?

주요 결과

• DSAC은 7-Scenes 데이터셋에서 최신 기술 대비 7.3% 정확도 향상을 기록하며, 카메라 위치 추정 분야에서 이전 방법들을 능가한다.
• DSAC의 확률적 선택 변종은 소프트 argmax 방법보다 우수한 성능을 보이며, 과적합 감소와 더 나은 일반화 능력을 입증한다.
• 내측점 비율이 5%에까지 떨어지는 상황에서도 높은 정확도를 유지하여, 노이즈가 많거나 희박한 예측에 대한 강력성을 입증한다.
• 무늬가 없는 표면, 운동 왜곡, 반사, 반복 구조 등의 어려운 장면을 성공적으로 처리하며, 모든 경우에서 정확한 카메라 자세를 추정한다.
• 역행렬 자세 평가 오류를 수정함(오차 계산에 역행렬을 사용)한 결과 정확도가 45.5%로 재조정되었으며, 표준 반복적 PnP 알고리즘으로 전환함으로써 크게 향상되었다.
• 원래 구현 대신 반복적 PnP 알고리즘을 사용한 것이 최종 보고된 성능 향상의 주요 요인였다.