[논문 리뷰] DiffuVolume: Diffusion Model for Volume based Stereo Matching

Dian Zheng, Xiao-Ming Wu외 3명|arXiv (Cornell University)|2023. 08. 30.

Advanced Vision and Imaging인용 수 6

한 줄 요약

DiffuVolume는 스테레오 매칭을 위한 새로운 확산 모델 기반의 비용 볼륨 필터를 제안하며, 기존의 노이즈 주입 방식을 대체해 작업에 특화된 어텐션 유사 확산 필터를 도입하여 반복적으로 중복된 기하 정보를 제거합니다. 이는 이전의 확산 기반 방법 대비 종합 오차(EPE)를 22% 낮추고 추론 속도를 240배 빠르게 하며, 파rameter 수가 2% 증가하는 데서도 모든 벤치마크에서 성능 향상을 이룹니다.

ABSTRACT

Stereo matching is a significant part in many computer vision tasks and driving-based applications. Recently cost volume-based methods have achieved great success benefiting from the rich geometry information in paired images. However, the redundancy of cost volume also interferes with the model training and limits the performance. To construct a more precise cost volume, we pioneeringly apply the diffusion model to stereo matching. Our method, termed DiffuVolume, considers the diffusion model as a cost volume filter, which will recurrently remove the redundant information from the cost volume. Two main designs make our method not trivial. Firstly, to make the diffusion model more adaptive to stereo matching, we eschew the traditional manner of directly adding noise into the image but embed the diffusion model into a task-specific module. In this way, we outperform the traditional diffusion stereo matching method by 22% EPE improvement and 240 times inference acceleration. Secondly, DiffuVolume can be easily embedded into any volume-based stereo matching network with boost performance but slight parameters rise (only 2%). By adding the DiffuVolume into well-performed methods, we outperform all the published methods on Scene Flow, KITTI2012, KITTI2015 benchmarks and zero-shot generalization setting. It is worth mentioning that the proposed model ranks 1st on KITTI 2012 leader board, 2nd on KITTI 2015 leader board since 15, July 2023.

연구 동기 및 목표

• 비용 볼륨 내 중복된 기하 정보로 인해 스테레오 매칭 성능과 학습 효율성이 저하되는 문제를 해결합니다.
• 스테레오 매칭과 같은 밀도 예측 작업에서 기존 확산 모델의 한계를 극복합니다. 여기서 픽셀 수준의 노이즈 제거가 정확도가 떨어지고 계산 비용이 많이 들기 때문입니다.
• 기존 스테레오 매칭 네트워크 아키텍처를 변경하지 않고도 직접 통합할 수 있는 경량이며 플러그 앤 플레이 모듈을 설계합니다.
• 합성 데이터에서 사전 학습한 후 실세계 데이터셋으로의 제로샷 일반화 성능을 향상시키기 위해 반복적인 정보 필터링을 통해 비용 볼륨 품질을 향상시킵니다.
• Scene Flow, KITTI, Middlebury, ETH3D 등 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, KITTI2012 및 KITTI2015 랭킹에서 정상적인 순위를 기록합니다.

제안 방법

• 이미지 복원이 아닌 디스parity 맵 개선을 목표로 하는 작업에 특화된 확산 프로세스를 도입하여, 비용 볼륨을 필터링 대상으로 간주합니다.
• 기존 확산 모델의 표준 노이즈 예측 방식을 대체로, 디스파리 맵에서 유도된 학습 가능한 어텐션 유사 필터를 도입하며, 이는 디스파리 맵을 확률 벡터로 이산화하여 더 나은 정보 표현을 가능하게 합니다.
• 경량 스테레오 매칭 네트워크를 사용해 직접 디스파리 맵을 예측함으로써, 노이즈 예측을 위한 복잡한 U-Net이 필요 없어지며, 이로 인해 이전의 확산 기반 방법 대비 추론 속도가 240배 향상됩니다.
• 기존의 비용 볼륨 기반 스테레오 매칭 네트워크에 확산 필터를 플러그 앤 플레이 모듈로 통합하여, 파rameter 수가 2% 증가하는 데서도 성능 향상을 이룹니다.
• DDIM 추론 전략을 적용해 추론 속도를 가속화하면서도 고품질 출력을 유지하며, 가장자리 맵과 굵은 디스파리 맵을 조건부로 삽입해 학습 안정성을 향상시킵니다.
• 이론적 분석을 통해 수정된 최적화 목표(노이즈 → 디스파리 맵)가 원래의 확산 목표와 수학적으로 동일함을 확인하여, 학습의 일관성과 타당성을 보장합니다.

실험 결과

연구 질문

• RQ1 이미지 수준의 노이즈 제거에 의존하지 않고도, 확산 모델을 비용 볼륨 필터로 효과적으로 재사용하여 스테레오 매칭에서 중복성을 줄일 수 있는가?
• RQ2 디스파리 맵 이산화에 기반한 작업에 특화된 확산 필터는 표준 확산 모델 대비 정확도와 추론 속도에서 어떻게 비교되는가?
• RQ3 합성 데이터에서 사전 학습한 후 실세계 데이터셋에 대해 일반화 성능을 향상시키기 위해, 경량이며 플러그 앤 플레이인 확산 필터가 얼마나 기여하는가?
• RQ4 확산 필터의 반복적 개선 과정이 경계나 무문자 표면과 같은 도전적인 영역에서 성능 향상에 기여하는가?
• RQ5 제안된 방법이 Scene Flow, KITTI, Middlebury, ETH3D 등 다양한 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• DiffuVolume는 기존의 확산 기반 스테레오 매칭 방법(Shao 등, 2022) 대비 종합 오차(EPE)를 22% 향상시켜 뚜렷한 성능 향상을 입증합니다.
• 노이즈 예측을 위한 U-Net이 필요 없어지면서 기존 방법 대비 추론 속도가 240배 향상되었습니다. 이는 경량 디스파리 예측기의 도입 덕분입니다.
• RAFT-Stereo에 통합된 DiffuVolume은 제로샷 일반화 성능을 향상시켜, KITTI2015(전체)에서 5.56%의 오차, ETH3D에서는 2.50%, Middlebury에서는 15.21%의 오차를 기록하며, IGEV-Stereo 및 기타 최신 기술 수준 방법들을 능가합니다.
• KITTI2012에서는 2023년 7월 15일 이래 공식 랭킹 1위를 유지하고 있으며, KITTI2015에서는 2위를 기록하여 강력한 일반화 능력과 견고성을 입증합니다.
• 시각화 결과, 전통적인 확산 방법이 정확도가 떨어지는 비문자 표면 및 경계 영역에서의 아티팩트를 DiffuVolume이 효과적으로 줄이는 것으로 나타났습니다.
• 이론적 분석을 통해 수정된 최적화 목표(노이즈 예측에서 디스파리 맵 예측으로 전환)가 원래의 확산 목표와 수학적으로 동일함을 확인하여, 학습의 안정성과 타당성을 보장합니다.