[논문 리뷰] Active-Passive SimStereo -- Benchmarking the Cross-Generalization Capabilities of Deep Learning-based Stereo Methods

Laurent Valentin Jospin, Allen Antony외 4명|arXiv (Cornell University)|2022. 09. 17.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 수동 및 수동 스테레오 영상에서 딥 러닝 기반 스테레오 매칭 방법을 평가하기 위한 새로운 벤치마크이자 데이터셋인 Active-Passive SimStereo를 소개한다. 분석 결과, 특징 추출 및 매칭 모듈은 수동 스테레오 영상에서 활성 스테레오 영상으로 일반화가 잘 되는 반면, 세 가지 아키텍처(ACVNet, CascadeStereo, StereoNet)는 가짜 무작위 패턴으로 인해 이미지 외관이 손상되는 데 의존함으로써 차분 보정 모듈에서 실패를 겪는다. 미세조정은 ACVNet과 CascadeStereo의 성능을 향상시키지만, StereoNet은 새로운 아티팩트를 유발함으로써 아키텍처적 한계가 드러나며, 이는 활성 패턴을 다루는 데 어려움을 겪음을 시사한다.

ABSTRACT

In stereo vision, self-similar or bland regions can make it difficult to match patches between two images. Active stereo-based methods mitigate this problem by projecting a pseudo-random pattern on the scene so that each patch of an image pair can be identified without ambiguity. However, the projected pattern significantly alters the appearance of the image. If this pattern acts as a form of adversarial noise, it could negatively impact the performance of deep learning-based methods, which are now the de-facto standard for dense stereo vision. In this paper, we propose the Active-Passive SimStereo dataset and a corresponding benchmark to evaluate the performance gap between passive and active stereo images for stereo matching algorithms. Using the proposed benchmark and an additional ablation study, we show that the feature extraction and matching modules of a selection of twenty selected deep learning-based stereo matching methods generalize to active stereo without a problem. However, the disparity refinement modules of three of the twenty architectures (ACVNet, CascadeStereo, and StereoNet) are negatively affected by the active stereo patterns due to their reliance on the appearance of the input images.

연구 동기 및 목표

• 수동 스테레오 영상과 활성 스테레오 영상 간 딥 러닝 기반 스테레오 매칭 방법의 교차 일반화 능력을 평가하기 위해.
• 활성 스테레오가 텍스처가 없는 영역에서 매칭을 향상시키기 위해 가짜 무작위 패턴을 사용한다는 점을 감안할 때, 최신 딥 러닝 스테레오 모델이 미세조정 없이도 활성 스테레오로 일반화할 수 있는지 조사하기 위해.
• 특히 차분 보정 모듈에서 성능 저하를 초래하는 스테레오 모델의 아키텍처적 약점을 규명하기 위해.
• 활성 스테레오 응용 분야에서 시스템적 평가 및 미세조정이 가능한 공개 벤치마크와 데이터셋을 제공하기 위해.

제안 방법

• 저자는 동일한 장면에 대해 수동 및 활성 스테레오 영상을 쌍으로 생성하기 위해 물리 기반 렲링 엔진을 사용한 합성 데이터셋인 Active-Passive SimStereo를 구축하였다.
• 이 데이터셋에는 100개의 장면이 포함되어 있으며, 활성 스테레오에 대해 실제적인 가짜 무작위 점 패턴을 투사하고, 해당하는 진짜 차분 지ap 매핑도 함께 제공된다.
• 표준 평가 지표(RMSE, MAE, BAD)를 사용하여 20개의 최신 엔드 투 엔드 딥 러닝 스테레오 모델을 수동 및 활성 스테레오 영상 쌍에서 평가하기 위한 벤치마크를 수립하였다.
• 특히 차분 보정 모듈에 영향을 주는 활성 패턴의 영향을 분리하여 분석하기 위해 아블레이션 스터디를 수행하였다.
• 세 모델(ACVNet, Cascade-Stereo, StereoNet)에 대해 10 에포크 동안 낮은 학습률로 활성 스테레오 서브셋에서 미세조정을 적용하여 적응 능력을 평가하였다.
• 특히 활성 패턴과 관련된 아티팩트를 포함한 오차 지ap 분석 및 정량적 분석을 통해 실패 원인을 진단하기 위해 시각적 및 정량적 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 수동 스테레오 영상에서 훈련된 딥 러닝 기반 스테레오 매칭 모델이 미세조정 없이도 활성 스테레오 영상으로 일반화할 수 있는가?
• RQ2 스테레오 매칭 파이프라인의 어떤 구성 요소가 가짜 무작위 활성 스테레오 패턴의 존재에 가장 민감한가?
• RQ3 왜 일부 모델, 예를 들어 StereoNet은 수동 스테레오에서는 양호한 성능을 보이지만 활성 스테레오에서는 성능이 열 劣하는가?
• RQ4 활성 스테레오 영상에서의 미세조정이 일반화에 실패한 모델의 성능을 복구시킬 수 있는가?
• RQ5 어떤 아키텍처적 특징이 특정 모델이 활성 스테레오 패턴에 더 견고한지를 결정하는가?

주요 결과

• 20개의 최신 스테레오 모델의 특징 추출 및 매칭 모듈은 활성 스테레오 영상으로 일반화가 잘 되어 성능 저하가 없음을 확인하였다.
• ACVNet, Cascade-Stereo, StereoNet의 세 모델은 차분 보정 모듈이 투사된 패턴의 외관에 민감하여 활성 스테레오에서 성능 저하를 겪는다.
• 활성 스테레오 영상에서의 미세조정은 ACVNet과 Cascade-Stereo의 성능을 크게 향상시켜 RMSE를 4.48px에서 2.11px로, BAD 0.5를 64%에서 20%로 감소시켰다.
• StereoNet의 경우, 미세조정으로 RMSE는 약간 향상되었지만 BAD 0.5 및 BAD 1 지표는 악화되었고, 새로운 에지 아티팩트가 발생하여 보정 모듈이 적응하지 못하고 효과적으로 비활성화된 것으로 나타났다.
• 결과적으로, 보정 단계에서 이미지 외관에 크게 의존하는 모델는 활성 스테레오에 적합하지 않으며, 분리되거나 더 유연한 보정 모듈을 가진 모델(예: ActiveStereoNet)은 더 견고한 성능을 보인다.
• 이 연구는 특히 보정 단계에서의 아키텍처 설계가 활성 스테레오로의 일반화에 매우 중요하며, 미세조정은 근본적인 아키텍처적 결함을 완전히 보완하지 못하지만 일부 완화가 가능하다는 것을 입증한다.