[논문 리뷰] PanoFormer: Panorama Transformer for Indoor 360 Depth Estimation

Zhijie Shen, Chun-Yu Lin외 4명|arXiv (Cornell University)|2022. 03. 17.

Advanced Vision and Imaging인용 수 9

한 줄 요약

PanoFormer는 360° 실내 깊이 추정을 위한 첫 번째 풍경 전용 트랜스포머를 제안하며, 탄젠트 패치 토큰화와 학습 가능한 토큰 플로우를 사용하여 구형 왜곡을 완화하고 기하학적 구조 인식을 향상시킵니다. Stanford2D3D에서 최신 기술 수준을 달성하여 RMSE, P-RMSE, LRCE 측면에서 이전 방법들보다 뚜렷한 성능 향상을 보이며, 의미 분할 작업으로의 일반화 능력도 효과적입니다.

ABSTRACT

Existing panoramic depth estimation methods based on convolutional neural networks (CNNs) focus on removing panoramic distortions, failing to perceive panoramic structures efficiently due to the fixed receptive field in CNNs. This paper proposes the panorama transformer (named PanoFormer) to estimate the depth in panorama images, with tangent patches from spherical domain, learnable token flows, and panorama specific metrics. In particular, we divide patches on the spherical tangent domain into tokens to reduce the negative effect of panoramic distortions. Since the geometric structures are essential for depth estimation, a self-attention module is redesigned with an additional learnable token flow. In addition, considering the characteristic of the spherical domain, we present two panorama-specific metrics to comprehensively evaluate the panoramic depth estimation models' performance. Extensive experiments demonstrate that our approach significantly outperforms the state-of-the-art (SOTA) methods. Furthermore, the proposed method can be effectively extended to solve semantic panorama segmentation, a similar pixel2pixel task. Code will be available.

연구 동기 및 목표

• 360° 풍경 깊이 추정에서 기하학적 왜곡을 다루는 데에 한계가 있는 CNN 기반 방법의 문제점을 해결하기 위해.
• 등방위 투영 왜곡에 의해 영향을 받는 구형 이미지에 특화된 트랜스포머 아키텍처를 설계하여, 풍경의 기하학적 구조를 더 잘 인식할 수 있도록 하기 위해.
• 극 지역 오차와 풍경 깊이 맵의 경계 일관성을 고려한 새로운 평가 지표인 P-RMSE와 LRCE를 도입하기 위해.
• 제안된 아키텍처가 의미 분할과 같은 다른 픽셀 간 작업으로의 확장성을 입증하기 위해, 최소한의 수정으로도 효과적으로 적용 가능하도록 하기 위해.

제안 방법

• 등방위 투영의 왜곡 영향을 줄이기 위해 구형 풍경을 탄젠트 도메인 상의 탄젠트 패치로 나눕니다.
• 등방위 도메인에서 탄젠트 도메인으로 토큰 위치를 매핑하기 위해 구형 토큰 위치 결정 모델(STLM)을 도입하여 왜곡 인식 샘플링을 가능하게 합니다.
• 학습 가능한 가중치 파ram을 활용해 토큰 플로우를 유도하는 동적 적응 기능을 갖춘 자기주의 메커니즘을 재설계합니다.
• 계층적 인코더-디코더 아키텍처의 표준 트랜스포머 블록을 대체하기 위해 풍경 기하학적 구조를 유도하는 트랜스포머(PST) 블록을 제안합니다.
• 중앙 토큰 기반 상대적 위치 임베딩을 활용해 구형 도메인 내에서의 주의 집중 정밀도를 향상시킵니다.
• 극 지역과 이음새 경계에서의 성능 평가를 위해 새로운 두 가지 지표인 극 근방 제곱근 평균 제곱 오차(P-RMSE)와 좌우 일관성 오차(LRCE)를 도입합니다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 아키텍처가 360° 풍경 깊이 추정에서 기하학적 왜곡을 효과적으로 완화할 수 있는가?
• RQ2 자기주의 메커니즘은 왜곡된 구형 이미지 내에서 복잡한 기하학적 구조를 어떻게 인식할 수 있도록 적응시킬 수 있는가?
• RQ3 P-RMSE와 LRCE와 같은 새로운 지표들이 기존 표준 지표에 비해 풍경 깊이 추정 모델의 평가를 더 포괄적으로 제공하는가에 대해 어느 정도의 정도로 성능을 향상시키는가?
• RQ4 제안된 PST 블록은 의미 분할과 같은 다른 풍경 이미지의 밀도 예측 작업으로 효과적으로 이식 가능한가?

주요 결과

• PanoFormer는 Stanford2D3D 데이터셋에서 테스트 RMSE가 0.3366을 기록하여 CNN 기반 베이스라인(0.6704) 대비 49.8% 향상된 성능을 보였다.
• P-RMSE는 베이스라인 대비 0.2258에서 0.1793으로 감소하였고, LRCE는 0.2733에서 0.1784로 감소하여 극 지역과 경계 영역에서 뛰어난 성능을 입증하였다.
• 제거 분석 결과, 탄젠트 패치와 학습 가능한 토큰 플로우의 조합이 가장 큰 성능 향상을 가져왔으며, 표준 자기주의 베이스라인 대비 RMSE가 21% 감소하였다.
• PST 블록은 소파와 같은 변형된 물체에서 더 정확한 깊이 추정 결과를 보여주는 정성적 결과를 통해 기하학적 구조 인식 능력이 크게 향상되었음을 입증하였다.
• 의미 분할 작업으로의 일반화 능력도 효과적이었으며, Stanford2D3D에서 mIoU 48.9%와 mAcc 64.5%를 기록하여 이전 최신 기술 수준 대비 mIoU에서 5.6% 포인트 향상되었다.
• 제안된 P-RMSE와 LRCE 지표는 표준 지표가 감지하지 못하는 고왜곡 영역과 이음새 영역에서의 성능 저하를 효과적으로 포착하였다.