[논문 리뷰] P$^{2}$Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation

Zehao Yu, Lei Jin외 1명|arXiv (Cornell University)|2020. 07. 15.

Advanced Vision and Imaging참고 문헌 59인용 수 10

한 줄 요약

P$^{2}$Net는 고정도 기울기 키포인트를 중심으로 한 패치 기반 표현을 사용하고 초월형 수준의 일관성을 슈퍼픽셀 사전 지식을 통해 강제하여 무문자 영역에서의 강건성을 향상시키는 새로운 비지도 내부 깊이 추정 방법을 제안한다. 이 방법은 패치 기반 매칭과 기하학적 정규화를 통해 개선된 매칭 구분 능력을 확보함으로써 NYUv2와 ScanNet에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

This paper tackles the unsupervised depth estimation task in indoor environments. The task is extremely challenging because of the vast areas of non-texture regions in these scenes. These areas could overwhelm the optimization process in the commonly used unsupervised depth estimation framework proposed for outdoor environments. However, even when those regions are masked out, the performance is still unsatisfactory. In this paper, we argue that the poor performance suffers from the non-discriminative point-based matching. To this end, we propose P$^2$Net. We first extract points with large local gradients and adopt patches centered at each point as its representation. Multiview consistency loss is then defined over patches. This operation significantly improves the robustness of the network training. Furthermore, because those textureless regions in indoor scenes (e.g., wall, floor, roof, \etc) usually correspond to planar regions, we propose to leverage superpixels as a plane prior. We enforce the predicted depth to be well fitted by a plane within each superpixel. Extensive experiments on NYUv2 and ScanNet show that our P$^2$Net outperforms existing approaches by a large margin. Code is available at \url{https://github.com/svip-lab/Indoor-SfMLearner}.

연구 동기 및 목표

• 무문자 영역이 넓은 내부 환경에서의 비지도 깊이 추정 과제를 해결하기 위해, 광학 일관성 손실이 모호한 대응 매칭으로 인해 실패하는 상황을 다루는 것.
• 점 기반 표현 방식의 한계를 극복하여, 무문자 영역에서 잘못된 대응 관계가 발생하는 문제를 해결하는 것.
• 특히 벽과 바닥과 같은 균일한 영역에서 평면 구조를 포함한 기하학적 사전 지식을 도입하여 깊이 추정의 강건성을 향상시키는 것.
• 사전 매칭 또는 희소 대응 추정이 필요 없도록 하여 직접적이고 종단 간(end-to-end) 학습 파이프라인을 가능하게 하는 것.

제안 방법

• 매칭 신뢰도를 향상시키기 위해, 국소 기울기가 큰 키포인트를 선택하여 무문자 영역에서의 특징으로 활용한다.
• 각 키포인트를 중심으로 국소 패치로 표현함으로써 점 기반 표현 방식을 패치 기반 표현 방식으로 대체하여 구분 능력을 향상시킨다.
• 패치 왜곡 메커니즘을 도입하여 각 패치 내에서 깊이가 균일하다는 가정을 하고, 다중 시점 광학 일관성 손실을 패치 기반으로 강제한다.
• 슈퍼픽셀을 사용하여 장면 내 평면 영역을 식별하고, 조각별 평면 일관성 손실을 적용하여 각 슈퍼픽셀 내 예측 깊이가 낮은 오차로 평면에 적합하도록 보장한다.
• 명시적인 대응 초기화 없이 패치 기반 광학 일관성 손실과 평면 피팅 손실의 조합을 사용하여 네트워크를 종단 간(end-to-end)으로 학습시킨다.
• 표준 프로토콜에 따라 평가 시 예측값을 재스케일링하여 단안 깊이 추정에서의 척도 모호성을 제거한다.

실험 결과

연구 질문

• RQ1 무문자 영역이 많은 내부 환경에서 비지도 깊이 추정에 패치 기반 표현 방식이 매칭 강건성을 향상시키는가?
• RQ2 슈퍼픽셀 영역 내에서 평면 일관성 강제가 큰 무문자 영역에서의 깊이 추정 정확도에 어떤 영향을 미치는가?
• RQ3 패치 기반 광학 일관성과 슈퍼픽셀 기반 평면 정규화를 결합하면 점 기반 방법보다 내부 벤치마크에서 더 나은 일반화 성능을 달성하는가?
• RQ4 직접적이고 종단 간 학습 프레임워크는 사전에 계산된 희소 대응 관계가 필요한 방법보다 비지도 내부 깊이 추정에서 더 우수한 성능을 내는가?

주요 결과

• NYUv2 데이터셋에서 P$^{2}$Net는 테스트 오차로 RMS 0.599, REL 0.159, δ<1.25 0.772를 기록하여 베이스라인 방법과 이전 비지도 접근법을 상당한 격차로 앞서며 성능을 확보했다.
• 절단 실험 결과 패치 기반 매칭과 평면 정규화의 조합이 가장 우수한 성능을 내며, 패치 모듈만으로도 RMS가 0.786에서 0.612로 감소함을 확인했다.
• ScanNet에서 P$^{2}$Net는 카메라 자세 추정 오차로 1.86°(회전)와 35.11°(이동)를 기록하여 MovingIndoor를 능가하며 강력한 일반화 능력을 입증했다.
• 모노바이2와 비교해 KITTI에서 δ<1.25 기준 1.5%의 상대적 향상도 달성했으며, 이는 이동 물체에 특별히 최적화되지 않았음에도 불구하고 성과임을 시사한다.
• 패치 패tern 크기의 절단 실험 결과 N=3에서 최적 성능을 기록했으며, 더 큰 패턴(N=4)은 노이즈를 유발하고 성능 저하를 초래함을 확인했다.
• 시각화 결과 P$^{2}$Net가 생성한 표면 법선과 3차원 포인트 클라우드가 벽과 바닥 영역에서 MovingIndoor보다 더 잘 평면 경계를 유지하는 것으로 확인되었다.