[논문 리뷰] The Edge of Depth: Explicit Constraints between Segmentation and Depth

Shengjie Zhu, Garrick Brazil외 1명|arXiv (Cornell University)|2020. 04. 01.

Advanced Vision and Imaging참고 문헌 47인용 수 10

한 줄 요약

이 논문은 자기지도 학습 기반 단안 깊이 예측 성능을 향상시키기 위해 의미 분할과 깊이 추정 간의 명시적 경계 일致성 제약을 제안한다. 깊이 경계를 분할 경계와 정렬하기 위해 미분 가능 모포로징 연산을 사용하고, 누출 아티팩트를 줄이기 위해 스테레오 음영 마스크를 도입함으로써, KITTI에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 이는 자기지도 학습에서 처음으로 절대 상대 오차 0.101을 기록한 것이다.

ABSTRACT

In this work we study the mutual benefits of two common computer vision tasks, self-supervised depth estimation and semantic segmentation from images. For example, to help unsupervised monocular depth estimation, constraints from semantic segmentation has been explored implicitly such as sharing and transforming features. In contrast, we propose to explicitly measure the border consistency between segmentation and depth and minimize it in a greedy manner by iteratively supervising the network towards a locally optimal solution. Partially this is motivated by our observation that semantic segmentation even trained with limited ground truth (200 images of KITTI) can offer more accurate border than that of any (monocular or stereo) image-based depth estimation. Through extensive experiments, our proposed approach advances the state of the art on unsupervised monocular depth estimation in the KITTI.

연구 동기 및 목표

• 저조도 또는 음영 영역에서의 자기지도 학습 기반 단안 깊이 예측의 한계를 보완하기 위해, 경계 정확도를 향상시키기 위해 의미 분할을 강력한 사전 지식으로 활용한다.
• 이전 연구에서 사용된 암묵적 특징 공유나 변환 방식을 넘어서, 분할과 깊이 경계 간의 관계를 명시적으로 모델링한다.
• 스테레오 기반 자기지도 학습 방법에서 물체 경계 근처의 누출 아티팩트를 줄이기 위해 새로운 스테레오 음영 마스크를 도입한다.
• 이미지 분산과 영상 광학 손실 품질 기반으로 영역을 가중치를 적용하는 파인튜닝 전략을 사용하여 학습 안정성과 성능을 향상시킨다.
• 약한 지도 학습 기반 분할이 깊이 예측보다 경계 정확도에서 뛰어나다는 것을 입증함으로써, 깊이 예측에 분할 결과를 지도 신호로 사용하는 것이 타당함을 정당화한다.

제안 방법

• 분할 경계와 깊이 경계 간의 L2 거리로 측정되는 비미분 가능 경계 일치 손실을 도입하며, 이를 게으른 모포로징 과정을 통해 최적화한다.
• 모방된 비에르-니리 모포로징 알고리즘을 수정하여, 경계 대응 관계에서 추출한 정제된 점 쌍을 활용해 국소적으로 최적의 깊이 맵을 생성한다.
• 스테레오 기반 학습에서 오류가 발생하는 경계 근처의 지도 신호를 억제하기 위해 광학 손실에 음영 마스크를 통합함으로써 누출 아티팩트를 감소시킨다.
• 모포로징 과정 중에 가중치 함수 w(x)를 적용하여 저분산 영역을 낮게 가중치를 주고, 노이즈가 많은 분할 예측으로 인한 노이즈 증폭을 방지한다.
• 예측된 분할 레이블(참고 문헌 [46]에서 제공)을 입력으로 사용하며, 영상 콘텐츠와 광학 신뢰도에 따라 네트워크 구성 요소를 선택적으로 업데이트하는 파인튜닝 전략을 적용한다.
• 모포로징 과정은 학습 기간 동안 반복적으로 적용되어 깊이 맵을 점차적으로 분할 경계와 정렬하면서도 광학 일致성을 유지한다.

실험 결과

연구 질문

• RQ1 암묵적 특징 수준의 상호작용을 넘어서, 분할과 깊이 경계 간의 명시적 정렬이 자기지도 학습 기반 단안 깊이 예측 성능 향상에 기여할 수 있는가?
• RQ2 깊이 예측 자체보다 분할 경계를 지도 신호로 사용할 경우, 저조도 또는 반사성 영역에서도 더 정확한 깊이 경계를 얻을 수 있는가?
• RQ3 음영을 명시적으로 모델링함으로써 스테레오 기반 자기지도 학습 기반 깊이 예측에서 발생하는 누출 아티팩트를 줄일 수 있으며, 이는 지도 신호의 품질 향상에 기여하는가?
• RQ4 특히 모포로징 대비 삼각형 분할 기반 점 쌍 정제 방식의 선택이 지도 신호 품질과 최종 깊이 예측 성능에 어떤 영향을 미치는가?
• RQ5 분산과 광학 손실 품질 기반으로 영역을 가중치를 적용하는 단순한 파인튜닝 전략이 자기지도 학습 기반 깊이 예측의 일반화 능력과 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 KITTI 테스트 세트에서 새로운 최신 기술 수준 성능을 달성하여 절대 상대 오차 0.101을 기록하였으며, 이는 자기지도 학습 기반 깊이 예측에서 처음으로 지도 학습 기반 SOTA 성능을 달성한 것이다.
• 스테레오 음영 마스크는 누출 아티팩트를 감소시키고 성능을 향상시켰으며, 절대 상대 오차는 0.102에서 0.101로 감소하고 δ<1.25는 0.884에서 0.887로 증가하였다.
• 모포로징 기반 지도 신호가 깊이 경계 품질을 향상시켰으며, 정성적 결과에서는 분할 윤곽선과 일치하는 더 선명하고 일관된 경계를 보였다.
• 삼각형 분할 기반 점 쌍 정제 방식보다 모포로징 전략이 유의미하게 뛰어나지 않아 RMSE가 0.011 감소(4.379에서 4.368로)했고, δ<1.25 점수는 동일하게 유지되었다.
• 파인튜닝 전략은 다양한 모델에서 성능 향상을 이끌었으며, 절대 상대 오차는 Godard 등(0.104 → 0.103)과 Watson 등(0.096 → 0.094)에서 각각 감소하여 일반화 능력을 입증하였다.
• 분할 사전학습에 단지 200장의 KITTI 이미지만 사용했음에도 불구하고, 분할 경계가 깊이 예측 경계보다 더 정확한 것으로 나타나, 본 연구의 핵심 통찰을 검증하였다.