[논문 리뷰] Bilateral Grid Learning for Stereo Matching Networks

Bin Xu, Yuhua Xu외 3명|arXiv (Cornell University)|2021. 01. 01.

Advanced Vision and Imaging참고 문헌 43인용 수 4

한 줄 요약

이 논문은 학습된 이원형 격자 기반의 매개변수 없는 에지 보존형 비용 볼륨 업샘플링 모듈을 제안하여, 저해상도에서 3D 컨볼루션을 수행하고 효율적으로 업샘플링함으로써 실시간 스테레오 매칭 네트워크가 높은 정확도를 달성할 수 있도록 한다. 이 방법은 GCNet, PSMNet, GANet와 같은 기존 네트워크를 4–29배 가속하면서도 경쟁력 있는 정확도를 유지하며, 실시간 네트워크인 BGNet이 KITTI에서 상태 최고 수준의 성능을 기록하면서 39 fps를 달성한다.

ABSTRACT

Real-time performance of stereo matching networks is important for many applications, such as automatic driving, robot navigation and augmented reality (AR). Although significant progress has been made in stereo matching networks in recent years, it is still challenging to balance real-time performance and accuracy. In this paper, we present a novel edge-preserving cost volume upsampling module based on the slicing operation in the learned bilateral grid. The slicing layer is parameter-free, which allows us to obtain a high quality cost volume of high resolution from a low-resolution cost volume under the guide of the learned guidance map efficiently. The proposed cost volume upsampling module can be seamlessly embedded into many existing stereo matching networks, such as GCNet, PSMNet, and GANet. The resulting networks are accelerated several times while maintaining comparable accuracy. Furthermore, we design a real-time network (named BGNet) based on this module, which outperforms existing published real-time deep stereo matching networks, as well as some complex networks on the KITTI stereo datasets. The code is available at https://github.com/YuhuaXu/BGNet.

연구 동기 및 목표

• 스테레오 매칭 네트워크에서 실시간 성능와 정확도 사이의 상충 관계를 해결하기 위해.
• 에지를 보존하면서 고해상도 세부 정보를 유지하는 효율적이고 매개변수 없는 비용 볼륨 업샘플링 방법을 개발하기 위해.
• 기존 스테레오 매칭 네트워크가 고해상도에서의 3D 컨볼루션을 저해상도 비용 볼륨으로 이관함으로써 정확도를 유지하면서도 훨씬 더 빠르게 작동하도록 하기 위해.
• 이 모듈을 사용하여 KITTI 데이터셋에서 기존 실시간 및 복잡한 네트워크를 초월하는 성능을 기록하는 실시간 스테레오 매칭 네트워크(BGNet)를 설계하기 위해.
• 합성 및 실제 세계 데이터셋에서의 일반화 성능을 평가하여 도메인 간 강건성을 입증하기 위해.

제안 방법

• 저해상도 비용 볼륨을 고해상도로 업샘플링하기 위해 학습된 이원형 격자에서의 컷팅 연산을 사용하는 새로운 비용 볼륨 업샘플링 모듈을 제안한다.
• 에지 보존을 위해 업샘플링 중에 블러링을 방지하기 위해 가이던스 맵을 학습할 수 있는 미분 가능한 이원형 격자를 활용한다.
• 컷팅 레이어는 매개변수 없기 때문에 최소한의 계산 오버헤드로 빠른 추론을 가능하게 한다.
• 기존 스테레오 매칭 네트워크(GCNet, PSMNet, GANet 등)에 업샘플링 모듈을 통합하여 저해상도에서 3D 컨볼루션을 수행하고 효율적으로 업샘플링할 수 있도록 한다.
• 이 모듈을 사용하여 KITTI 데이터셋에서 추론 속도와 정확도를 최적화한 실시간 스테레오 매칭 네트워크인 BGNet과 BGNet+를 설계한다.
• 합성 데이터셋(SceneFlow, IRS)에서 모델을 훈련시켜 계산 비용을 증가시키지 않고도 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습된 이원형 격자 기반의 매개변수 없는 에지 보존형 업샘플링 방법이 정확도를 저하시키지 않고도 스테레오 매칭 네트워크의 효율성을 향상시킬 수 있는가?
• RQ2 제안된 업샘플링 모듈이 기존 스테레오 매칭 아키텍처에 원활하게 통합되어 추론 속도를 가속하면서도 성능을 유지할 수 있는가?
• RQ3 이 모듈을 사용하여 기존 실시간 및 복잡한 최첨단 네트워크를 초월하는 실시간 스테레오 매칭 네트워크를 설계할 수 있는가?
• RQ4 단지 합성 데이터에서 훈련된 경우, 제안된 네트워크의 일반화 성능은 복잡한 모델과 비교해 어떻게 되는가?
• RQ5 추가적인 합성 데이터(예: IRS)를 통합할 경우, 추론 시간을 증가시키지 않고 일반화 성능이 얼마나 향상되는가?

주요 결과

• 제안된 비용 볼륨 업샘플링 모듈은 기존 스테레오 매칭 네트워크를 4배에서 29배 가속하면서도 원래 버전과 비교해 유사한 정확도를 유지한다.
• BGNet은 KITTI 2012와 KITTI 2015에서 각각 39 fps를 기록하여, 발표된 모든 실시간 딥 스테레오 매칭 네트워크와 GCNet, AANet, FADNet과 같은 일부 복잡한 네트워크를 초월한다.
• Middlebury 2014 데이터셋에서 SceneFlow에서만 훈련된 경우 BGNet과 BGNet+는 Bad 2.0 오차가 각각 17.5%와 17.2%를 기록하여 iResNet과 GANet를 초월한다.
• 추가 합성 데이터(IRS)에서 훈련된 경우 BGNet과 BGNet+는 Bad 2.0 오차를 각각 13.5%와 11.6%로 줄여, 계산 비용 증가 없이도 강력한 일반화 성능을 입증한다.
• 이원형 격자 업샘플링 모듈는 매우 효율적이며, KITTI 2015에서 이미지 쌍당 4.3ms 밖에 소모하지 않으며, 전체 네트워크 GPU 추론에서 선형 업샘플링보다 단지 0.2ms 느리다.
• 이 모듈은 딥 스테레오 매칭에 미분 가능한 이원형 격자 연산을 적용한 최초의 사례로, 추가 매개변수 없이도 고품질의 에지 보존형 업샘플링을 가능하게 한다.