[논문 리뷰] Improving Deep Stereo Network Generalization with Geometric Priors

Jialiang Wang, Varun Jampani외 4명|arXiv (Cornell University)|2020. 08. 25.

Advanced Vision and Imaging참고 문헌 31인용 수 7

한 줄 요약

이 논문은 추론 비용을 증가시키지 않고 실제 데이터에 대한 일반화 능력을 향상시키기 위해 훈련 중에 기하학적 사전 지식—기울기 도메인의 부드러움과 막힘 추론—을 엔드 투 엔드 딥 스테레오 네트워크에 통합하는 방법을 제안한다. FlyingThings3D와 같은 합성 데이터셋에서 훈련함으로써, 기존 PSM-Net의 Middlebury 벤치마크에서의 MAE를 5.37에서 3.21로 감소시켜 질감이 없는 영역과 막힘 영역에 대한 강건성을 크게 향상시키면서도 속도를 유지한다.

ABSTRACT

End-to-end deep learning methods have advanced stereo vision in recent years and obtained excellent results when the training and test data are similar. However, large datasets of diverse real-world scenes with dense ground truth are difficult to obtain and currently not publicly available to the research community. As a result, many algorithms rely on small real-world datasets of similar scenes or synthetic datasets, but end-to-end algorithms trained on such datasets often generalize poorly to different images that arise in real-world applications. As a step towards addressing this problem, we propose to incorporate prior knowledge of scene geometry into an end-to-end stereo network to help networks generalize better. For a given network, we explicitly add a gradient-domain smoothness prior and occlusion reasoning into the network training, while the architecture remains unchanged during inference. Experimentally, we show consistent improvements if we train on synthetic datasets and test on the Middlebury (real images) dataset. Noticeably, we improve PSM-Net accuracy on Middlebury from 5.37 MAE to 3.21 MAE without sacrificing speed.

연구 동기 및 목표

• 합성 데이터나 제한된 실제 데이터셋에서 훈련된 딥 스테레오 네트워크가 다양한 실제 환경에서 테스트되었을 때의 낮은 일반화 능력을 해결하기 위해.
• 기본 네트워크가 실패하는 질감이 없는 영역과 막힘 영역에서의 강건성을 향상시키기 위해.
• 추론 시간이나 모델 복잡도를 증가시키지 않고 일반화 능력을 향상시키기 위해.
• 엔드 투 엔드 스테레오 네트워크에 기하학적 사전 지식를 통합할 수 있는 미분 가능하고 역전파 가능한 모듈을 개발하기 위해.
• PSM-Net 및 HSM-Net과 같은 강력한 베이스라인을 사용하여 Middlebury와 같은 실제 환경 벤치마크에서 방법을 검증하기 위해.

제안 방법

• 실제 환경이 연속적인 표면으로 구성되어 있다는 사실을 활용하여, 예측된 디스파리티 맵에서 조각별 부드러움을 유도하는 기울기 도메인 부드러움 사전 지식을 도입한다.
• 정렬된 스테레오 기하학을 사용하여 디스파리티와 막힘 간의 기하학적 관계를 모델링하는 막힘 추론 모듈을 추가한다.
• 두 모듈 모두 미분 가능하며, 추론 시에는 원래 네트워크 아키텍처에 영향을 주지 않고 훈련 시에만 통합된다.
• 모듈은 훈련 중에 손실 구성 요소로 적용되어 아키텍처 수정 없이 엔드 투 엔드 최적화가 가능하다.
• 방법은 PSM-Net과 HSM-Net에서 평가되었으며, FlyingThings3D와 Falling Things와 같은 합성 데이터셋을 사용해 사전 훈련된 가중치를 미세조정하였다.
• 이 방법은 어떤 스테레오 네트워크와도 호환되며, 훈련 시 정규화 기법으로 작동한다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 훈련된 딥 스테레오 네트워크에 기하학적 사전 지식를 통합하면 실제 데이터에서의 일반화 능력이 향상되는가?
• RQ2 기울기 도메인의 부드러움을 통합하면 질감이 없는 영역과 저질감 영역에서의 성능 향상이 이루어지는가?
• RQ3 명시적인 막힘 추론을 통합하면 막힘 영역에서의 디스파리티 추정 성능이 향상되는가?
• RQ4 제안된 방법은 추론 속도를 떨어뜨리거나 모델 파rameter 수를 늘리지 않고 성능 향상을 이끌 수 있는가?
• RQ5 합성 훈련 데이터의 선택(예: FlyingThings3D 대비 Falling Things)이 일반화에 어떤 영향을 미치는가?

주요 결과

• PSM-Net의 MAE가 두 기하학적 사전 지식를 사용해 미세조정한 후 Middlebury 벤치마크에서 5.37에서 3.21로 감소하여 상대적 개선률이 40%에 이르렀다.
• GradSmooth 모듈만 적용했을 때 PSM-Net의 MAE는 5.37에서 4.62로 감소하여 다양한 데이터셋에서 일관된 향상이 확인되었다.
• 막힘 모듈은 PSM-Net의 성능을 추가로 향상시켜 MAE를 3.21로 낮췄지만, HSM-Net에는 덜 영향을 주었는데, 이는 HSM-Net이 자체적인 데이터 증강 전략을 가지고 있기 때문일 수 있다.
• FlyingThings3D 대신 Falling Things 데이터셋에서 훈련하면 PSM-Net의 Middlebury에서의 MAE가 5.37에서 1.41로 감소하여 데이터셋의 품질이 일반화에 상당한 영향을 미친다는 것을 시사한다.
• Falling Things에서 훈련할 경우 GradSmooth 모듈이 나쁜 픽셀 비율(bad-2.0)을 11.48%에서 10.35%로 감소시켜 강건성 향상을 확인했다.
• 제안된 방법은 추론 속도를 유지하며 모델 파rameter 수도 증가시키지 않는데, 이는 테스트 시에 오직 원래 네트워크만 사용하기 때문이다.