[논문 리뷰] EdgeStereo: An Effective Multi-Task Learning Network for Stereo Matching and Edge Detection

Xiao Song, Xu Zhao외 2명|arXiv (Cornell University)|2019. 03. 05.

Advanced Vision and Imaging참고 문헌 61인용 수 13

한 줄 요약

EdgeStereo는 공유 백본과 전용 브랜치를 사용하여 디스parity 맵과 에지 맵을 동시에 예측하는 통합 다중 작업 학습 네트워크를 제안한다. 에지 인식 스무쓰니스 손실과 에지 특징 임bedding을 도입함으로써 무문자, 음영, 경계 영역에서의 디스파리티 추정 성능을 향상시켜 FlyingThings3D, KITTI 2012, KITTI 2015 벤치마크에서 최신 기술 수준의 성능을 달성한다. 특히 반사성 및 에지가 없는 영역에서 뚜렷한 성능 향상을 보였다.

ABSTRACT

Recently, leveraging on the development of end-to-end convolutional neural networks (CNNs), deep stereo matching networks have achieved remarkable performance far exceeding traditional approaches. However, state-of-the-art stereo frameworks still have difficulties at finding correct correspondences in texture-less regions, detailed structures, small objects and near boundaries, which could be alleviated by geometric clues such as edge contours and corresponding constraints. To improve the quality of disparity estimates in these challenging areas, we propose an effective multi-task learning network, EdgeStereo, composed of a disparity estimation branch and an edge detection branch, which enables end-to-end predictions of both disparity map and edge map. To effectively incorporate edge cues, we propose the edge-aware smoothness loss and edge feature embedding for inter-task interactions. It is demonstrated that based on our unified model, edge detection task and stereo matching task can promote each other. In addition, we design a compact module called residual pyramid to replace the commonly-used multi-stage cascaded structures or 3-D convolution based regularization modules in current stereo matching networks. By the time of the paper submission, EdgeStereo achieves state-of-art performance on the FlyingThings3D dataset, KITTI 2012 and KITTI 2015 stereo benchmarks, outperforming other published stereo matching methods by a noteworthy margin. EdgeStereo also achieves comparable generalization performance for disparity estimation because of the incorporation of edge cues.

연구 동기 및 목표

• 무문자 영역, 경계 근처, 소형 물체에서 지속적으로 발생하는 디스파리티 추정의 정확도 저하 문제를 해결한다.
• 에지 검출에서 유도된 기하학적 단서를 통합함으로써 스테레오 매칭 네트워크의 일반화 능력과 강건성을 향상시킨다.
• 엔드 투 엔드 다중 작업 학습을 통해 스테레오 매칭과 에지 검출 간 상호 개선을 가능하게 한다.
• 복잡한 캐스케이드 또는 3D 컨볼루션 정규화를 대체하기 위해 효율적인 특징 정제를 위한 컴act한 잔차 피라미드 모듈을 도입한다.
• 학습 중에 진짜 에지 애너테이션 없이도 에지 감독이 디스파리티 추정 성능 향상에 기여하는지 입증한다.

제안 방법

• 공유 인코더 백본을 공유하는 디스파리티 추정 브랜치와 에지 검출 브랜치를 갖춘 이중 브랜치 네트워크를 설계한다.
• 예측된 에지 맵과 일치하지 않는 디스파리티 불연속성을 방지하기 위해 에지 인식 스무쓰니스 손실을 도입함으로써 교차 작업 최적화를 가능하게 한다.
• 에지 정보를 디스파리티 추정 브랜치에 융합하기 위해 에지 특징 임베딩을 제안함으로써 경계에서의 특징 표현을 향상시킨다.
• 기존의 캐스케이드 또는 3D 컨볼루션 정규화를 대체하기 위해 다중 해상도 특징을 집계하는 잔차 피라미드 모듈을 도입하여 비용 볼륨과 정제를 수행한다.
• 스테레오 매칭과 에지 검출 목표를 조합한 공동 손실을 사용해 엔드 투 엔드로 모델을 훈련시키며, 양 브랜치 간 기울기 전파를 가능하게 한다.
• 다양한 환경, 특히 에지가 없는 실내 환경까지 일반화 능력을 향상시키기 위해 합성(FlyingThings3D) 및 실세계(Cityscapes) 데이터셋에서 사전 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 스테레오 매칭과 에지 검출의 공동 학습이 무문자 영역 및 경계 영역에서의 디스파리티 추정 성능 향상에 기여하는가?
• RQ2 에지 단서는 어떻게 디스파리티 추정 파이프라인에 효과적으로 통합되어 스무쓰니스와 일관성을 향상시킬 수 있는가?
• RQ3 에지 애너테이션이 학습 중에 제공되지 않더라도 다중 작업 훈련이 에지 검출 성능 향상에 기여하는가?
• RQ4 복잡한 캐스케이드 또는 3D 컨볼루션 모듈을 대체할 수 있는 컴act한 잔차 피라미드 모듈이 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 스테레오 매칭과 에지 검출 간 상호 감독이 다양한 데이터셋 간 일반화 능력을 얼마나 향상시키는가?

주요 결과

• EdgeStereo는 FlyingThings3D 벤치마크에서 최신 기술 수준의 성능을 달성하여 종단 오차(Endpoint Error)를 3.96%로 감소시키고, 평균 절대 오차는 0.74로 낮췄다.
• KITTI 2012 테스트 세트에서 EdgeStereo는 3 픽셀 오차를 1.46%로 감소시켜 이전 방법들보다 뚜렷한 성능 향상을 보였다.
• KITTI 2012 반사 영역 평가에서 EdgeStereo는 공식 랭킹에서 1위를 기록했으며, 3 픽셀 오차는 5.84%였다.
• 에지가 없는 중간 수준의 Middlebury 테스트 세트에서 EdgeStereo는 3 픽셀 오차 2.252%를 기록하여, 학습 중에 에지 애너테이션이 없음에도 불구하고 강력한 일반화 능력을 입증했다.
• 학습 중에 진짜 에지 레이블이 없음에도 불구하고 교차 작업 감독 덕분에 에지 검출 품질이 향상되었다.
• 잔차 피라미드 모듈은 캐스케이드 또는 3D 컨볼루션 모듈을 효과적으로 대체하여 복잡도를 감소시키면서도 효율적이고 정확한 특징 정제를 가능하게 했다.