[논문 리뷰] SphereSR: 360° Image Super-Resolution with Arbitrary Projection via Continuous Spherical Image Representation

Young-Ho Yoon, Inchul Chung외 2명|arXiv (Cornell University)|2021. 12. 13.

Advanced Vision and Imaging인용 수 4

한 줄 요약

SphereSR는 연속적인 구면 표현을 사용하여 임의의 투영 방식으로 고해상도 전방위 이미지를 생성하는 새로운 360° 이미지 초해상도 프레임워크를 제안한다. 기하학적 정렬 컨벌루션을 활용해 효율적인 구면 특징 추출을 수행하고, 임의의 구면 좌표에서 RGB 값을 예측하기 위해 구면 국소 암시 이미지 함수(SLIIF)를 도입하여 다양한 벤치마크와 투영 유형에서 최신 기준 성능을 달성한다.

ABSTRACT

The 360°imaging has recently gained great attention; however, its angular resolution is relatively lower than that of a narrow field-of-view (FOV) perspective image as it is captured by using fisheye lenses with the same sensor size. Therefore, it is beneficial to super-resolve a 360°image. Some attempts have been made but mostly considered the equirectangular projection (ERP) as one of the way for 360°image representation despite of latitude-dependent distortions. In that case, as the output high-resolution(HR) image is always in the same ERP format as the low-resolution (LR) input, another information loss may occur when transforming the HR image to other projection types. In this paper, we propose SphereSR, a novel framework to generate a continuous spherical image representation from an LR 360°image, aiming at predicting the RGB values at given spherical coordinates for super-resolution with an arbitrary 360°image projection. Specifically, we first propose a feature extraction module that represents the spherical data based on icosahedron and efficiently extracts features on the spherical surface. We then propose a spherical local implicit image function (SLIIF) to predict RGB values at the spherical coordinates. As such, SphereSR flexibly reconstructs an HR image under an arbitrary projection type. Experiments on various benchmark datasets show that our method significantly surpasses existing methods.

연구 동기 및 목표

• 등방성 직육면체 투영(ERP)에 국한되어 있는 기존 360° 이미지 초해상도 방법의 한계를 해결하기 위해, 역각 왜곡을 유발하고 유연성을 제한하는 ERP에 기반한 제약을 제거한다.
• ERP와 같은 2차원 평면 투영 방식에서 내재된 픽셀 밀도 변동과 왜곡 문제를 해결하기 위해 icosahedral 메시를 사용하여 360° 이미지를 구면 표면에 모델링한다.
• 임의의 구면 좌표에서 RGB 값을 예측함으로써 어떤 투영 유형(예: 큐브맵, 등방성 직육면체)에도 고해상도 이미지 재구성을 가능하게 한다.
• 평면 이미지 변환에 의존하지 않고도 구면 딥러닝을 지원하기 위해 효율적이고 메모리 최적화된 데이터 구조와 네트워크 모듈을 개발한다.

제안 방법

• 기하학적 정렬 컨벌루션(GA-Conv) 레이어를 제안하여 icosahedral 메시 위에서 직접 기능을 추출함으로써 구면 기하학을 유지하고 왜곡을 최소화한다.
• 삼각형 면 위의 법선 평면 극좌표 기반의 위치 임bedding을 사용해 임의의 구면 좌표에서 RGB 값을 예측하는 구면 국소 암시 이미지 함수(SLIIF)를 도입한다.
• 투영 변환 과정에서 픽셀 정렬 오류를 방지하기 위해 연속적인 구면 표현을 사용하여 다양한 360° 투영 형식에서의 출력 유연성을 확보한다.
• 다양한 투영 유형 간의 특징 맵 유사도를 측정하는 특징 손실을 구현하여, 다양한 투영 유형에서의 일반화 및 성능 향상을 도모한다.
• 기존 방법들인 SpherePHD와 비교해 활성화 메모리가 감소하는 구면 특징 저장 및 처리를 위한 메모리 효율적인 데이터 구조를 설계한다.
• 시각적 품질 향상과 다양한 투영 유형 간의 특징 일致성 향상을 위해 L1 손실과 제안된 특징 손실의 조합을 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크가 등방성 직육면체 투영에 국한되지 않고, 임의의 투영 출력을 지원하는 360° 이미지 초해상도를 달성할 수 있는가?
• RQ2 어떻게 하면 구면 이미지 표현을 연속적이고 미분 가능하게 만들 수 있을까? 이를 통해 임의의 구면 좌표에서 고정밀 RGB 예측이 가능해진다.
• RQ3 기하학적 정렬 컨벌루션을 사용한 icosahedral 메시는 평면 투영 대비 특징 추출 효율성 향상과 왜곡 감소에 어떤 영향을 미치는가?
• RQ4 투영에 관계없는 특징 손실이 다양한 360° 이미지 투영 유형에서의 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 데이터 구조는 기존의 구면 CNN 구현 대비 메모리 효율성과 확장성 측면에서 어떻게 비교되는가?

주요 결과

• SphereSR는 ODI-SR 및 SUN 360 Panorama 데이터셋에서 최신 기준 성능을 달성하였으며, ×8 초해상도에서 WS-PSNR 24.37 dB, WS-SSIM 0.6777을 기록하였다.
• GA-Conv의 포함으로 ODI-SR에서 PSNR가 ×8 초해상도에서 0.14 dB 향상되었고, SUN 360 Panorama에서는 0.12 dB 향상되어 특징 추출의 효과성을 입증하였다.
• SLIIF는 ×8 초해상도에서 픽셀 셔플 기준보다 WS-PSNR가 0.03 dB 높아져 연속적이고 좌표 기반의 이미지 재구성에서의 우수성을 확인하였다.
• 특징 손실은 모든 스케일과 데이터셋에서 일관된 성능 향상을 이끌어내었으며, WS-PSNR는 0.04–0.05 dB 향상되고, WS-SSIM은 0.001–0.002 향상되었다.
• 제안된 데이터 구조는 입력 해상도가 높아질수록 SpherePHD 대비 활성화 메모리의 70%까지 감소시켰으며, 해상도가 증가할수록 메모리 효율 비율이 향상되었다.
• SphereSR는 재투영 아티팩트 없이도 임의의 투영 유형(예: ERP, 큐브맵)에서의 유연한 초해상도 출력을 가능하게 하였으며, 모델이 직접 구면에서 RGB 값을 예측하기 때문이다.