[논문 리뷰] Domain-invariant Stereo Matching Networks

Feihu Zhang, Xiaojuan Qi외 4명|arXiv (Cornell University)|2019. 11. 29.

Advanced Vision and Imaging참고 문헌 53인용 수 6

한 줄 요약

이 논문은 도메인 불변 스테레오 매칭 네트워크(DSMNet)를 제안하며, 새로운 도메인 정규화 레이어를 통해 도메인 간 특성 분포를 정규화하고, 학습 가능한 비국소 그래프 기반 필터를 통해 강력한 구조적 특징을 추출한다. 단순히 합성 데이터로만 훈련된 DSMNet는 KITTI 2015와 같은 실제 데이터셋에서의 테스트에서 피지컬 테스트 모델조차도 능가하는 최신 기술 수준의 도메인 간 일반화 성능을 달성한다.

ABSTRACT

State-of-the-art stereo matching networks have difficulties in generalizing to new unseen environments due to significant domain differences, such as color, illumination, contrast, and texture. In this paper, we aim at designing a domain-invariant stereo matching network (DSMNet) that generalizes well to unseen scenes. To achieve this goal, we propose i) a novel "domain normalization" approach that regularizes the distribution of learned representations to allow them to be invariant to domain differences, and ii) a trainable non-local graph-based filter for extracting robust structural and geometric representations that can further enhance domain-invariant generalizations. When trained on synthetic data and generalized to real test sets, our model performs significantly better than all state-of-the-art models. It even outperforms some deep learning models (e.g. MC-CNN) fine-tuned with test-domain data.

연구 동기 및 목표

• 색상, 조명, 대비, 질감 등의 변화로 인해 실세계 환경에 적용했을 때 일반화 성능이 떨어지는 스테레오 매칭 네트워크의 문제를 해결한다.
• 목표 도메인 데이터에 대한 적응 또는 미세조정 없이도 새로운, 알려지지 않은 환경에 효과적으로 일반화되는 딥 러닝 모델을 개발한다.
• 특히 질감이 없는 영역이나 반사 영역, 객체 경계 부근에서 도메인 이동으로 인해 발생하는 잡음과 아티팩트를 감소시킨다.
• 도메인 변화에 불변인 비국소적 구조적 및 기하학적 표현을 캡처하여 스테레오 매칭의 강건성을 향상시킨다.
• 실제 데이터셋에서 실세계 성능을 초월하는 성능을 달성하기 위해 실세계 데이터에 대한 의존도를 제거하고, 오직 합성 훈련 데이터만을 사용한다.

제안 방법

• 공간적 및 채널 차원에서 특성 분포를 정규화하여 도메인 이동 영향을 줄이는 도메인 정규화 레이어를 도입한다.
• 장거리 구조적 및 기하학적 관계를 특징에서 캡처하기 위해 학습 가능한 비국소 그래프 기반 필터링 레이어를 설계한다.
• SceneFlow 및 Carla와 같은 합성 데이터셋에서만 훈련되는 엔드 투 엔드 학습 가능한 전체 네트워크를 구성한다.
• 특징 맵에서 잡음과 아티팩트를 억제하면서도, 특히 도전적인 영역에서 형태와 구조적 정보를 유지하기 위해 비국소 필터를 활용한다.
• 도메인 정규화와 비국소 필터링을 조합하여 특징의 강건성을 향상시키고, 도메인 이동 상황에서도 매칭 정확도를 향상시킨다.
• 실세계 데이터나 미세조정 없이도 오직 합성 데이터에 의존하여 실세계 테스트 환경으로의 일반화를 달성한다.

실험 결과

연구 질문

• RQ1 실세계 환경에 대해 미세조정이나 적응 없이도, 새로운, 알려지지 않은 환경에 효과적으로 일반화될 수 있는 스테레오 매칭 네트워크를 훈련시킬 수 있는가?
• RQ2 조명, 대비, 질감 변화와 같은 도메인 이동에 대해 불변이 되도록 특징 표현을 어떻게 정규화할 수 있는가?
• RQ3 학습 가능한 비국소 그래프 기반 필터가 도메인 간 설정에서 스테레오 매칭 특징의 강건성을 얼마나 향상시킬 수 있는가?
• RQ4 오직 합성 데이터로만 훈련된 모델이 KITTI 2015와 같은 실세계 벤치마크에서 미세조정된 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ5 도메인 정규화와 비국소 필터링의 통합이 이질적 환경에서의 일반화 성능 향상과 아티팩트 감소에 기여하는가?

주요 결과

• DSMNet는 합성 데이터로만 훈련된 상태에서 KITTI 2015 벤치마크에서 테스트 오차율 3.71%를 기록하며, 제로샷 도메인 간 일반화에서 모든 최신 기술 수준의 모델을 능가한다.
• 적응 없이도 MC-CNN(3.89%), DispNetC(4.34%), content-CNN(4.54%)와 같은 미세조정된 딥 러닝 모델보다 KITTI 2015 벤치마크에서 성능이 뛰어나다.
• 네 개의 실세계 데이터셋에서, DSMNet는 동일한 합성 데이터로 훈련된 최신 기술 수준의 모델 대비 오차율을 3%에서 30%까지 감소시켰다.
• KITTI 2015에서 700 에포크 동안 미세조정한 결과, 비교 영역에서 1.71%의 새로운 최고 성능 오차율과 전체 영역에서 1.90%의 오차율을 기록했다.
• GANet-deep에 제안된 비국소 필터링 레이어를 추가하면 KITTI 2015에서 오차율이 1.77%로 감소하여 새로운 최고 성능을 달성했으며, 이는 도메인 적응 설정에서도 메서드의 효과를 입증한다.
• qualitative 비교를 통해 PSMNet와 GANet-deep와 같은 미세조정된 모델보다 더 정확한 객체 경계를 생성함을 시각적으로 확인했다.