[논문 리뷰] SegStereo: Exploiting Semantic Information for Disparity Estimation

Guorun Yang, Hengshuang Zhao외 3명|arXiv (Cornell University)|2018. 07. 31.

Advanced Vision and Imaging참고 문헌 32인용 수 6

한 줄 요약

이 논문은 세분화된 세분화 특징을 스테레오 디스파리티 추정에 통합하여 정확도를 향상시키는 통합된 딥러닝 프레임워크인 SegStereo를 제안한다. 특히 무늬가 없는 영역에서 정확도를 높인다. 의미 특징 임bedding과 의미 소프트맥스 손실을 도입함으로써, 지도 학습 및 비지도 학습 모두에서 정규화를 강화하여 KITTI 스테레오 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하였고, CityScapes와 FlyingThings3D에서도 뛰어난 성능을 보였다.

ABSTRACT

Disparity estimation for binocular stereo images finds a wide range of applications. Traditional algorithms may fail on featureless regions, which could be handled by high-level clues such as semantic segments. In this paper, we suggest that appropriate incorporation of semantic cues can greatly rectify prediction in commonly-used disparity estimation frameworks. Our method conducts semantic feature embedding and regularizes semantic cues as the loss term to improve learning disparity. Our unified model SegStereo employs semantic features from segmentation and introduces semantic softmax loss, which helps improve the prediction accuracy of disparity maps. The semantic cues work well in both unsupervised and supervised manners. SegStereo achieves state-of-the-art results on KITTI Stereo benchmark and produces decent prediction on both CityScapes and FlyingThings3D datasets.

연구 동기 및 목표

• 기존 방법이 국소적 특징이 부족하여 실패하는 경우, 무늬가 없거나 모호한 영역에서의 디스파리티 추정 정확도가 떨어지는 문제를 해결하기 위해.
• 고수준의 의미 정보가 지도 학습 및 비지도 학습 환경 모두에서 디스파리티 예측을 안정화시키고 이끄는 데 효과적인지 탐색하기 위해.
• 의미 분류와 디스파리티 추정을 동시에 최적화하여 더 높은 강인성과 정확도를 확보하는 통합 프레임워크를 개발하기 위해.
• 어려운 실세계 스테레오 데이터셋에서 예측 오차를 줄이기 위해 의미 정규화의 효과를 평가하기 위해.
• KITTI, CityScapes, FlyingThings3D와 같은 다양한 데이터셋에 걸쳐 방법의 일반화 능력을 입증하기 위해.

제안 방법

• 디스파리티 추정의 특징 추출 및 비용 볼륨 계산을 위해 관련성 레이어를 갖춘 ResNet 기반 인코더를 사용한다.
• 공간적으로 정렬된 의미 특징 맵을 생성하기 위해 의미 분류 서브넷을 통합하고, 이를 디스파리티 예측 브랜치에 통합한다.
• 일치하는 픽셀 간 의미 일관성을 강제함으로써 예측을 정규화하기 위해 의미 소프트맥스 손실을 적용한다.
• 디스파리티 및 의미 평가가 모두 완전 컨볼루션 형태이므로, 엔드 투 엔드 학습을 가능하게 한다.
• 지도 학습 및 비지도 학습 모두를 지원한다: 비지도 모드에서는 광학 일관성 손실과 의미 소프트맥스 손실을 조합하고, 지도 모드에서는 광학 손실을 회귀 손실로 대체한다.
• 더 깊은 특징 추출(예: 'conv1_3' 및 'conv5_4' 레이어)과 증가된 관련성 레이어 커널 크기(96)를 갖춘 재설계된 아키텍처를 사용해 KITTI에서 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 기존 방법이 실패하는 모호하고 무늬가 없는 영역에서 의미 정보가 디스파리티 추정 정확도를 크게 향상시킬 수 있는가?
• RQ2 의미 특징 임베딩은 지도 학습 대비 비지도 학습 등 다양한 학습 철학에서 디스파리티 예측의 강인성을 높이는 데 얼마나 효과적인가?
• RQ3 소프트맥스 손실을 통한 의미 일관성 통합이 다양한 스테레오 데이터셋에서 더 나은 일반화 성능을 이끌어내는가?
• RQ4 통합 모델이 엔드 투 엔드 방식으로 디스파리티 추정 및 의미 분류 구성 요소를 효과적으로 학습시킬 수 있는가?
• RQ5 기본 벤치마크인 KITTI, CityScapes, FlyingThings3D에서 제안된 방법이 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• SegStereo는 KITTI 스테레오 2015 벤치마크에서 평균 엔드 투 엔드 오차(EPE) 1.76과 D1 오차 3.70을 기록하여 최신 기술 수준의 성능을 달성했다.
• KITTI 2012 벤치마크에서는 EPE를 1.88로 줄이고 D1을 4.07로 낮혀, 도전적인 영역에서 이전 방법들을 능가했다.
• 비지도 버전의 SegStereo는 CityScapes에서 전통적인 SGM을 뛰어넘어 강력한 제로샷 일반화 능력을 보였다.
• FlyingThings3D 데이터셋에서는 지도 학습 기반 SegStereo 모델이 EPE 1.45와 D1 3.50을 기록하여 ResNetCorr(EPE: 3.50, D1: 8.45) 및 기타 최신 기술 수준의 방법들을 능가했다.
• 향상된 특징 추출(corr13)을 갖춘 재설계된 SegStereo 모델은 KITTI 2015에서 EPE를 1.88로 줄이고 D1을 4.07로 낮혀 세부 사항 보존 능력 향상을 입증했다.
• 시각적 결과는 도로 중심부나 차량 영역 등 모호한 영역에서 의미 일관성을 활용함으로써 SegStereo가 더 정확한 디스파리티 맵을 생성함을 확인했다.