[논문 리뷰] Spherical View Synthesis for Self-Supervised 360 Depth Estimation

Nikolaos Zioulis, Antonis Karakottas외 3명|arXiv (Cornell University)|2019. 09. 17.

Advanced Vision and Imaging참고 문헌 50인용 수 8

한 줄 요약

이 논문은 등각투영(ERP)에서 발생하는 왜곡 문제를 해결하기 위해 기하학적으로 유도된 시차 모델과 구면 주의 메커니즘을 활용하여, 구면 시각 합성 기반의 자기지도 학습 방법을 제안한다. 이는 대규모 360° 데이터셋에서 최신 기술 수준의 성능을 달성하며, 시각 합성 지도 학습이 직접 지도 학습보다 성능이 열 劣하다는 점을 시사하여, 고품질의 깊이 추정을 위한 보다 효과적인 대안적 접근법이 필요할 수 있음을 시사한다.

ABSTRACT

Learning based approaches for depth perception are limited by the availability of clean training data. This has led to the utilization of view synthesis as an indirect objective for learning depth estimation using efficient data acquisition procedures. Nonetheless, most research focuses on pinhole based monocular vision, with scarce works presenting results for omnidirectional input. In this work, we explore spherical view synthesis for learning monocular 360 depth in a self-supervised manner and demonstrate its feasibility. Under a purely geometrically derived formulation we present results for horizontal and vertical baselines, as well as for the trinocular case. Further, we show how to better exploit the expressiveness of traditional CNNs when applied to the equirectangular domain in an efficient manner. Finally, given the availability of ground truth depth data, our work is uniquely positioned to compare view synthesis against direct supervision in a consistent and fair manner. The results indicate that alternative research directions might be better suited to enable higher quality depth perception. Our data, models and code are publicly available at https://vcl3d.github.io/SphericalViewSynthesis/.

연구 동기 및 목표

• 등각투영에서 발생하는 왜곡과 일관성 없는 지도 학습 문제를 해결하면서, 구면 시각 합성 기반의 자기지도 학습 360° 깊이 추정을 가능하게 하기 위해.
• 구면 스테레오 설정에서 수평, 수직, 삼각 기준선을 모두 고려한 강력하고 기하학적으로 기반을 둔 시차 모델을 개발하기 위해.
• CoordConv와 구면 주의 메커니즘을 통합하여 컨볼루션 네트워크의 효율성을 향상시키고, 등각투영 데이터에서의 성능을 개선하기 위해.
• 실제 깊이 값이 존재하는 대규모이고 다양한 360° 깊이 데이터셋을 활용하여, 시각 합성 지도 학습과 직접 지도 학습 간의 공정하고 일관된 비교를 제공하기 위해.
• 재현성과 벤치마킹을 위해 공개 가능한 360° 스테레오 데이터셋, 모델, 코드를 배포하기 위해.

제안 방법

• 360° 환경에서 수평, 수직, 삼각 기준선 스테레오 설정을 모두 지원할 수 있도록 기하학적으로 유도된 전 구면 시차 모델을 도출하였다.
• 구면 주의 메커니즘을 활용한 깊이-이미지 기반 렌더링(DIBR)을 사용하여 합성된 시각을 생성함으로써 학습을 안정화하고 왜곡 관련 오차를 감소시켰다.
• 특히 수평 기준선에서의 ERP 왜곡을 완화하기 위해 구면 주의 맵을 도입하여 관련 영역에 집중된 기울기를 유도하였다.
• 위치 정보를 통합함으로써 특징 학습을 향상시키기 위해 CoordConv 레이어를 통합하여 수평 및 수직 기준선에서의 성능을 향상시켰다.
• 기하학적 일관성 손실를 사용한 역 와핑을 적용하였지만, 표준 와핑 대신 DIBR 스플래터링을 도입하여 구면 전역에서 일관된 지도 학습을 보장하였다.
• 새로가져온 360° 데이터셋의 스테레오 쌍을 사용하여 네트워크를 엔드 투 엔드로 학습하였으며, 실제 깊이 값이 아닌 시각 합성에서 유도된 지도 학습을 사용하였다.

실험 결과

연구 질문

• RQ1 등각투영에서 발생하는 왜곡과 에피포라 특이점 문제로 인해 시각 합성 기반 자기지도 학습 360° 깊이 추정이 효과적으로 적용될 수 있는가?
• RQ2 대규모 360° 데이터셋에서 공정하고 일관된 평가 조건 하에 시각 합성 지도 학습과 직접 지도 학습 간의 성능 비교는 어떻게 이루어지는가?
• RQ3 구면 주의 메커니즘과 CoordConv는 등각투영 입력에서 깊이 추정 성능 향상에 어떤 역할을 하는가?
• RQ4 기준선 선택(수평, 수직, 삼각)이 자기지도 학습 360° 깊이 추정의 품질에 상당한 영향을 미치는가?
• RQ5 자기지도 학습 기반 시각 합성은 고품질 360° 깊이 추정을 위한 타당한 길인가, 아니면 합성 데이터나 더 나은 데이터 수집 기법이 더 효과적인가?

주요 결과

• 제안된 방법은 SunCG 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, UD 기준선에서 상대 오차는 0.119, delta1 정확도는 66.4%를 기록하였다.
• 구면 주의 메커니즘이 LR 기준선에서 성능을 크게 향상시켰다 (주의 없이: RMSE 0.269 → 주의 있음: RMSE 0.143), 그러나 UD 기준선에는 거의 영향을 주지 않았다.
• CoordConv는 UD 기준선에서 성능을 향상시켰다 (CoordConv 없음: RMSE 0.138 → 있음: RMSE 0.134), 이는 수직 설정에서 공간 기하학을 더 잘 다루고 있음을 시사한다.
• 더 다양한 SunCG 테스트 세트에서 모델은 [41]을 초월하여 72.2%의 delta1 정확도를 기록하였고, PanoSunCG에서는 64.7%를 기록한 [41]보다 우수한 성능을 보였다.
• 시각 합성 지도 학습과 직접 지도 학습 간의 비교 결과, 직접 지도 학습이 유의미하게 더 좋은 성능을 보였으며, 이는 자기지도 학습이 고정밀도 360° 깊이 추정에 최적의 방법이 아닐 수 있음을 시사한다.
• 저자들은 대규모 공개 360° 스테레오 데이터셋과 코드를 배포하여 향후 벤치마킹과 재현 가능성을 지원하였다.