[논문 리뷰] DRO: Deep Recurrent Optimizer for Structure-from-Motion.

Xiaodong Gu, Weihao Yuan외 4명|arXiv (Cornell University)|2021. 03. 24.

Advanced Vision and Imaging참고 문헌 44인용 수 17

한 줄 요약

이 논문은 기울기 계산 없이 특징-메트릭 비용을 최소화하기 위해 게이트드 리커런트 유닛을 사용하여 깊이 맵과 카메라 자세를 반복적으로 개선하는 DRO라는 구조적 운동에서의 깊이 순환 최적화기를 제안한다. 이는 감독 학습 및 자기지도 학습 설정 모두에서 최신 기술 수준의 성능을 달성하며, KITTI와 ScanNet에서 이전 방법들을 능가하면서 계산 및 메모리 비용을 감소시킨다.

ABSTRACT

There are increasing interests of studying the structure-from-motion (SfM) problem with machine learning techniques. While earlier methods directly learn a mapping from images to depth maps and camera poses, more recent works enforce multi-view geometry constraints through optimization embedded in the learning framework. This paper presents a novel optimization method based on recurrent neural networks to further exploit the potential of neural networks in SfM. Specifically, our neural optimizer alternately updates the depth and camera poses through iterations to minimize a feature-metric cost, and two gated recurrent units iteratively improve the results by tracing historical information. In this way, our network is a gradient-free zeroth-order optimizer designed for SfM and can be applied to both supervised and self-supervised SfM. Extensive experimental results demonstrate that our method outperforms previous methods and is more efficient in computation and memory consumption than cost-volume-based methods. In particular, our self-supervised method outperforms previous supervised methods on the KITTI and ScanNet datasets. Our source code is available at this https URL.

연구 동기 및 목표

• 구조적 운동에서의 엔드 투 엔드 학습의 한계를 기하학적 제약 조건을 통한 최적화로 보완하기 위해.
• 기울기 계산에 의존하지 않고도 미분 가능하고 순환적인 최적화 프레임워크를 설계하여 깊이 및 카메라 자세 추정을 향상시키기 위해.
• 게이트드 리커런트 유닛을 통해 이전 최적화 상태를 활용하여 효율적이고 정확한 자기지도 학습 기반의 구조적 운동을 가능하게 하기 위해.
• 비용 볼륨 기반 방법과 비교해 계산 및 메모리 오버헤드를 감소시키면서도 성능을 유지하거나 향상시키기 위해.

제안 방법

• DRO는 특징-메트릭 비용 함수에 기반해 깊이 맵과 카메라 자세를 반복적으로 업데이트하기 위해 두 개의 게이트드 리커런트 유닛(GRUs)을 사용한다.
• 최적화 과정은 깊이 및 자세 추정을 번갈아가며 개선하며, 이전 상태의 정보를 활용해 수렴을 이끈다.
• 이 네트워크는 제로차수 최적화기 역할을 하여 최적화 루프를 거쳐 기울기 역전파를 피한다.
• 이 방법은 엔드 투 엔드로 훈련 가능하며 감독 학습 및 자기지도 학습 SfM 환경 모두에 적용 가능하다.
• 특징-메트릭 비용 함수는 과거 최적화 단계의 GRU 기반 메모리에 의해 이끌리는 반복적 개선을 통해 최소화된다.

실험 결과

연구 질문

• RQ1 기울기 계산 없이도 순환 신경망이 구조적 운동에서 깊이 및 카메라 자세를 효과적으로 최적화하는 데 사용될 수 있는가?
• RQ2 기울기 기반 또는 비용 볼륨 기반 방법과 비교해 기울기 자유의 순환 최적화 프레임워크는 정확성과 효율성 측면에서 어떻게 비교되는가?
• RQ3 자기지도 학습 기반 DRO 방법은 KITTI 및 ScanNet과 같은 실제 벤치마크에서 감독 학습 기반 기준을 능가할 수 있는가?
• RQ4 GRU를 통해 이전 최적화 상태를 통합할 경우 수렴성과 최종 재구성 품질 향상에 얼마나 기여하는가?

주요 결과

• DRO는 감독 학습 및 자기지도 학습 기반의 구조적 운동 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• DRO의 자기지도 학습 버전은 KITTI 및 ScanNet 데이터셋에서 이전 감독 학습 기반 방법들을 능가한다.
• DRO는 비용 볼륨 기반 방법과 비교해 계산 및 메모리 소비를 감소시키면서도 정확도를 유지하거나 향상시킨다.
• 게이트드 리커런트 유닛의 사용은 최적화 역사 추적에 효과를 발휘하여 수렴성과 최종 결과 품질을 향상시킨다.