[논문 리뷰] ActiveStereoNet: End-to-End Self-Supervised Learning for Active Stereo Systems

Yinda Zhang, Sameh Khamis외 8명|arXiv (Cornell University)|2018. 07. 16.

Advanced Vision and Imaging참고 문헌 43인용 수 9

한 줄 요약

ActiveStereoNet은 활성 스테레오 깊이 추정을 위한 처음으로 종단간(self-supervised) 딥러닝 방법을 제안하며, 적응형 지지 가중치를 가진 창 기반 손실과 고려되지 않은 영역를 처리하기 위한 종단간 무감독의 무효화 네트워크를 사용한다. 이는 하위픽셀 정밀도(1/30 픽셀 이내)를 달성하며 날카운 에지, 최소한의 과도한 부드러움, 조명 변화 및 무문자 영역에 대한 강건성을 보이며, 실제 및 시뮬레이션 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

In this paper we present ActiveStereoNet, the first deep learning solution for active stereo systems. Due to the lack of ground truth, our method is fully self-supervised, yet it produces precise depth with a subpixel precision of $1/30th$ of a pixel; it does not suffer from the common over-smoothing issues; it preserves the edges; and it explicitly handles occlusions. We introduce a novel reconstruction loss that is more robust to noise and texture-less patches, and is invariant to illumination changes. The proposed loss is optimized using a window-based cost aggregation with an adaptive support weight scheme. This cost aggregation is edge-preserving and smooths the loss function, which is key to allow the network to reach compelling results. Finally we show how the task of predicting invalid regions, such as occlusions, can be trained end-to-end without ground-truth. This component is crucial to reduce blur and particularly improves predictions along depth discontinuities. Extensive quantitatively and qualitatively evaluations on real and synthetic data demonstrate state of the art results in many challenging scenes.

연구 동기 및 목표

• 활성 스테레오 시스템을 위한 대규모 지상 진실 깊이 데이터의 부족 문제를 해결하기 위해.
• 감독 없이도 고정밀 깊이 추정을 달성하는 종단간 무감독 딥러닝 프레임워크를 개발하기 위해.
• 활성 스테레오에서 세부 사항과 에지를 유지하면서 과도한 부드러움을 최소화하고 고려되지 않은 영역를 처리하기 위해.
• 활성 스테레오 영상에서 조명 변화와 고주파 패턴 아티팩트에 대한 강건성을 향상시키기 위해.
• 지상 진실 레이블 없이도 깊이 예측과 고려되지 않은 영역 탐지의 종단간 학습을 가능하게 하기 위해.

제안 방법

• 비용 볼륨의 집계를 향상시키고 구분력을 높이기 위해 적응형 지지 가중치(ASW)를 가진 창 기반 복원 손실을 제안한다.
• 저주파 성분을 제거하고 거리에 따른 패턴 흐림에 적응하기 위해 국소 대비 정규화(LCN) 손실을 도입한다.
• LCN 기반 손실을 위한 특징을 추출하기 위해 시아미즈 네트워크 타워를 활용하여 조명 및 무문자 변화에 대한 강건성을 향상시킨다.
• 고려되지 않은 영역를 예측하고 손실 계산에서 이를 제외하는 종단간 무감독의 무효화 네트워크를 설계한다.
• 무효화 네트워크에서 생성된 신뢰도 맵을 부가적으로 활용하여 고려되지 않은 영역 추론이 필요한 고수준 응용에 활용할 수 있다.
• 지역 최소값과 에지 두꺼워짐을 줄이기 위해 가시화 가능한 창 기반 비용 집계를 사용하여 전체 네트워크를 종단간 최적화한다.

실험 결과

연구 질문

• RQ1 지상 진실 레이블 없이 종단간 무감독 딥러닝 방법이 활성 스테레오에서 하위픽셀 정밀도의 깊이 추정을 달성할 수 있는가?
• RQ2 활성 스테레오에서 조명 변화와 고주파 패턴 아티팩트에 강건한 손실 함수는 어떻게 설계할 수 있는가?
• RQ3 지상 진실 레이블 없이도 고려되지 않은 영역를 종단간으로 학습할 수 있는가?
• RQ4 창 기반 비용 집계에서 적응형 지지 가중치는 에지 유지와 얇은 구조 복원에 기여하는가?
• RQ5 무효화 네트워크는 신뢰도 맵을 신뢰할 만하게 생성할 수 있으며, 기존의 좌우 일致성 기반 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• ActiveStereoNet은 1/30 픽셀 이내의 하위픽셀 정밀도를 달성하며, 이는 이전의 활성 스테레오 방법들을 크게 능가한다.
• 제안된 적응형 지지 가중치(ASW)를 가진 창 기반 손실은 단일 픽셀 또는 비적응형 방법보다 에지 두꺼워짐을 줄이고 얇은 구조를 더 정확히 복원한다.
• LCN 기반 복원 손실은 노이즈를 감소시키고 무문자 및 저대비 영역에서 성능을 향상시키며, 명시적 광학적 학습 없이도 효과를 발휘한다.
• 무효화 네트워크는 고려되지 않은 영역 탐지에서 평균 정밀도 80.7%를 달성하여 좌우 일치 검사(80.9%)를 능가하고 광학적 오차 기반 방법(51.3%)보다도 뛰어나다.
• 모델은 날카운 깊이 맵을 생성하며 비정상적인 픽셀(비정상 픽셀)이 최소화되고 과도한 부드러움이 없으며, 특히 깊이 불연속 영역에서 두드러진다.
• Titan X에서 15ms의 프레임당 처리 속도를 기록하여 실시간 구현 가능성을 입증한다.