[논문 리뷰] Labeling Panoramas with Spherical Hourglass Networks

Carlos Esteves, Kostas Daniilidis외 1명|arXiv (Cornell University)|2018. 09. 06.

Advanced Vision and Imaging참고 문헌 2인용 수 3

한 줄 요약

이 논문은 스펙트럼 도메인에서 구형 컨볼루션을 사용하여 구형 파ano라마에서의 밀도 높은 의미적 레이블링을 위한 회전 등변성 딥러닝 모델인 구형 시계열 네트워크(SCHN)를 소개한다. 시계열 아키텍처에 SO(3)-등변성 잔차 블록을 활용함으로써 SCHN는 3D 회전에 대해 임의의 카메라 회전 조건에서도 정상적인 2D CNN보다 우수한 성능을 기록하며, 정렬된 이미지 방향이 필요하지 않다.

ABSTRACT

With the recent proliferation of consumer-grade 360° cameras, it is worth revisiting visual perception challenges with spherical cameras given the potential benefit of their global field of view. To this end we introduce a spherical convolutional hourglass network (SCHN) for the dense labeling on the sphere. The SCHN is invariant to camera orientation (lifting the usual requirement for `upright' panoramic images), and its design is scalable for larger practical datasets. Initial experiments show promising results on a spherical semantic segmentation task.

연구 동기 및 목표

• 구형 파ano라마 이미지의 2D 평면에 투영될 때 일반적으로 발생하는 왜곡 문제를 해결하기 위해, 구형 파ano라마 이미지에서의 밀도 높은 픽셀 수준의 레이블링 과제를 해결하는 것.
• 카메라 방향에 관계없이 불변인 딥러닝 모델을 개발하여, 3D 전역 회전에 대한 데이터 증강이 필요 없도록 하는 것.
• 고해상도 출력을 지원하면서도 회전 등변성을 유지하는 가용성 있고 효율적인 아키텍처를 설계하는 것.
• 구형 위상 구조로 인해 발생하는 인위적 왜곡으로 인해 표준 2D CNN이 equirectangular 투영에서 성능에 한계를 보이는 문제를 해결하는 것.

제안 방법

• 모델은 구형 조화함수와 스펙트럼 도메인 연산을 기반으로 한 구형 컨볼루션 레이어를 사용하여 SO(3)-등변성을 보장한다.
• 1×1, 3×3, 1×1 컨볼루션을 활용한 구형 잔차 블록을 도입하여 계산 비용을 줄이면서도 성능 유지를 한다.
• 고해상도 밀도 높은 예측을 생성하기 위해 다운샘플링 및 업샘플링 블록을 포함한 시계열 아키텍처를 따르는 방식이다.
• 소수의 구형 푸리에 계수 앵커를 통해 필터 국소화를 구현함으로써 국소화된, 부드럽고 변형 가능한 수신 영역을 가능하게 한다.
• 네트워크는 구형 파ano라마의 레이블된 데이터에 대해 지도 학습 손실을 사용하여 훈련되며, 방향에 특화된 데이터 증강이 필요 없다.
• 비교를 위해 2D 기준 모델(2DHG)을 사용하며, 이는 equirectangular 투영에 표준 2D 컨볼루션을 적용한 것이다.

실험 결과

연구 질문

• RQ1 모든 3D 회전에 대한 데이터 증강 없이도, 구형 파ano라마에서의 회전 등변성 의미 세그멘테이션을 달성할 수 있는가?
• RQ2 임의의 카메라 방향 조건 하에서, 2D CNN 기반의 시계열 네트워크와 표준 2D CNN 간의 일반화 성능는 어떻게 비교되는가?
• RQ3 구형 네트워크에서 전역 필터 대비 국소화된 구형 필터를 사용할 경우, 세그멘테이션 정확도는 어느 정도 향상되는가?
• RQ4 구형 잔차 블록 아키텍처는 구형 표면에서의 밀도 높은 레이블링 작업에서 계산 비용을 줄이면서도 높은 성능를 유지할 수 있는가?

주요 결과

• SCHN는 임의의 카메라 방향 조건에서 테스트 데이터에서 mIoU 0.5582를 기록하며, 동일 조건에서 2DHG 기준 2D CNN이 0.5292를 기록한 것보다 뛰어난 성능을 보였다.
• 기본 방향 조건에서 SCHN는 mIoU 0.5683을 기록하여, 이상적인 조건에서 훈련된 모델과 비교해도 뛰어난 성능를 보였다.
• 훈련 시 기본 방향에서, 테스트 시 임의의 방향으로의 일반화 성능가 뛰어나, mIoU 0.5024를 기록하여 회전에 대한 강건성을 입증했다.
• 더 큰 모델 버전(SCHN/large)을 사용할 경우 성능 향상이 이루어져, 기본 테스트 데이터에서 mIoU 0.5983을 기록하며 확장 가능성을 입증했다.
• 소수의 구형 푸리에 앵커를 통해 필터를 국소화하면 전역 필터 대비 성능 향상이 이루어지며, SCHN/global의 mIoU는 0.5343, 국소화된 필터를 사용한 SCHN의 mIoU는 0.5376으로 향상되었다.
• 제안된 아키텍처는 동일 벤치마크에서 Im2Pano3D와 같은 이전 작업보다 우수한 성능를 보였으며, 더 어려운 외삽 작업에서 mIoU 0.330을 기록한 것에 비해 뛰어난 성능를 기록했다.