[논문 리뷰] Improving 360 Monocular Depth Estimation via Non-local Dense Prediction Transformer and Joint Supervised and Self-supervised Learning

Ilwi Yun, Hyuk-Jae Lee외 1명|arXiv (Cornell University)|2021. 09. 22.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 기존 접근 방식에서의 데이터 부족성과 불안정성 문제를 해결하기 위해 비국소 밀도 예측 트랜스포머와 통합된 지도학습-자기지도학습 학습 방식을 사용하는 새로운 360° 단안 깊이 추정 방법을 제안한다. 중력에 따라 정렬된 영상 데이터를 활용해 자기지도학습을 수행하고, 이를 지도학습과 융합함으로써 여러 벤치마크에서 최신 기준 성능을 달성한다. 특히 막힘과 무문자 영역이 있는 과도한 시나리오에서도 일반화 능력과 깊이 재구성 정확도가 향상된다.

ABSTRACT

Due to difficulties in acquiring ground truth depth of equirectangular (360) images, the quality and quantity of equirectangular depth data today is insufficient to represent the various scenes in the world. Therefore, 360 depth estimation studies, which relied solely on supervised learning, are destined to produce unsatisfactory results. Although self-supervised learning methods focusing on equirectangular images (EIs) are introduced, they often have incorrect or non-unique solutions, causing unstable performance. In this paper, we propose 360 monocular depth estimation methods which improve on the areas that limited previous studies. First, we introduce a self-supervised 360 depth learning method that only utilizes gravity-aligned videos, which has the potential to eliminate the needs for depth data during the training procedure. Second, we propose a joint learning scheme realized by combining supervised and self-supervised learning. The weakness of each learning is compensated, thus leading to more accurate depth estimation. Third, we propose a non-local fusion block, which can further retain the global information encoded by vision transformer when reconstructing the depths. With the proposed methods, we successfully apply the transformer to 360 depth estimations, to the best of our knowledge, which has not been tried before. On several benchmarks, our approach achieves significant improvements over previous works and establishes a state of the art.

연구 동기 및 목표

• 360° 등방위 깊이 데이터의 부족성과 열악한 품질이 지도학습 성능을 제한하는 문제를 해결한다.
• 반사성 또는 무문자 표면에서 발생하는 일반적인 자기지도학습 360° 깊이 학습의 불안정성과 유일하지 않은 해를 해결한다.
• 각각의 접근 방식의 약점을 상보적으로 보완하기 위해 지도학습과 자기지도학습 신호를 융합한 통합 학습 체계를 도입한다.
• 시각 트랜스포머의 밀도 깊이 예측에서 전역 특징 유지 능력을 향상시키기 위해 비국소 융합 블록(NLFB)을 개발한다.
• 대규모 레이블이 부족한 상황에서도 360° 깊이 추정에 효과적으로 시각 트랜스포머를 훈련시킬 수 있도록 한다.

제안 방법

• 지상 진짜 깊이 정보가 필요 없이 기울기 정렬 영상 시퀀스만을 사용하는 자기지도학습 방법을 제안한다.
• 지난 손실($\mathcal{L}_{pix} + \mathcal{L}_{grad}$)과 자기지도학습 손실($\mathcal{L}_{I} + \mathcal{L}_{D}$)을 융합한 통합 학습 목표를 도입하여 강인성과 정확도를 향상시킨다.
• 특징 맵 내 장거리 의존성을 집계함으로써 전역적 맥락 모델링을 향상시키는 비국소 융합 블록(NLFB)을 설계한다.
• 직선형 이미지에서 사전 훈련된 시각 트랜스포머 백본을 사용해 특징를 초기화함으로써, 제한된 지도학습 조건에서도 효과적인 미세조정을 가능하게 한다.
• 예측된 깊이와 인접 프레임의 왜곡된 특징 간 일관성 손실($\mathcal{L}_{D}$)을 적용하여 자기지도학습의 안정성을 높인다.
• 다중 해상도 지도학습 전략을 통해 다중 수준의 지도학습을 적용하여 특징 표현과 깊이 세부 정보를 향상시킨다.

실험 결과

연구 질문

• RQ1 기울기 정렬 영상 시퀀스에서 자기지도학습을 수행하면 360° 단안 깊이 추정에서 지상 진짜 깊이 애너테이션의 필요성을 제거할 수 있는가?
• RQ2 지도학습과 자기지도학습을 융합하면 각각의 방법보다 더 정확하고 안정적인 깊이 예측을 가능하게 하는가?
• RQ3 비국소 융합 블록이 시각 트랜스포머의 전역 맥락 모델링 능력을 밀도 있는 360° 깊이 추정에 향상시키는가?
• RQ4 통합 학습 체계는 지도학습에서 잘못된 또는 누락된 지상 진짜 깊이로 인한 오류를 어떻게 완화하는가?
• RQ5 기존 최신 기준 방법들과 비교해 본다면, 제안된 방법은 예측되지 않은 시나리오와 데이터셋으로의 일반화 능력이 어느 정도 향상되는가?

주요 결과

• 제안된 방법은 3D60 및 Structure3D를 포함한 여러 벤치마크에서 최신 기준 성능을 달성하여 모든 지표에서 이전 방법을 능가한다.
• 지도학습과 자기지도학습 손실을 함께 사용한 통합 학습은 특히 무문자나 막힘 있는 표면 영역에서 깊이 추정 정확도를 크게 향상시킨다.
• 비국소 융합 블록(NLFB)은 전역 맥락을 유지함으로써 깊이 재구성 품질을 향상시키고, 잡음과 오브제이트 경계 일致성 문제를 감소시킨다.
• 정성적 결과에서는 통합 학습 체계가 창문과 벽, 소파와 바닥을 정확히 구분하는 반면, 기준 모델들은 이러한 경우에서 실패함을 보여준다.
• 절단 실험 결과, 지도학습 손실과 함께 자기지도학습 손실($\mathcal{L}_{I}$ 및 $\mathcal{L}_{D}$)을 적용할 경우, 특히 모호하거나 노이즈가 많은 지상 진짜 깊이 데이터 처리에서 성능 향상이 뚜렷하게 나타남을 확인하였다.
• 전체 통합 목표와 NLFB를 함께 사용한 모델이 모든 테스트 세트에서 최고의 성능을 기록하여, 각 구성 요소가 독립적으로나 조합된 상태에서도 효과적임을 입증하였다.