[論文レビュー] SphereSR: 360° Image Super-Resolution with Arbitrary Projection via Continuous Spherical Image Representation

Young-Ho Yoon, Inchul Chung+2 more|arXiv (Cornell University)|Dec 13, 2021

Advanced Vision and Imaging被引用数 4

ひとこと要約

SphereSRは、連続的な球面表現を用いて任意の投影法に適応可能な高解像度のオムニディレクショナル画像を生成する、新しい360°画像スーパーレゾリューションフレームワークを提案する。幾何学的に整合した畳み込みを用いて効率的な球面特徴抽出を実現し、任意の球面座標におけるRGB値を予測する球面局所的暗黙的画像関数（SLIIF）を導入することで、複数のベンチマークおよび投影タイプにおいて最先端の性能を達成している。

ABSTRACT

The 360°imaging has recently gained great attention; however, its angular resolution is relatively lower than that of a narrow field-of-view (FOV) perspective image as it is captured by using fisheye lenses with the same sensor size. Therefore, it is beneficial to super-resolve a 360°image. Some attempts have been made but mostly considered the equirectangular projection (ERP) as one of the way for 360°image representation despite of latitude-dependent distortions. In that case, as the output high-resolution(HR) image is always in the same ERP format as the low-resolution (LR) input, another information loss may occur when transforming the HR image to other projection types. In this paper, we propose SphereSR, a novel framework to generate a continuous spherical image representation from an LR 360°image, aiming at predicting the RGB values at given spherical coordinates for super-resolution with an arbitrary 360°image projection. Specifically, we first propose a feature extraction module that represents the spherical data based on icosahedron and efficiently extracts features on the spherical surface. We then propose a spherical local implicit image function (SLIIF) to predict RGB values at the spherical coordinates. As such, SphereSR flexibly reconstructs an HR image under an arbitrary projection type. Experiments on various benchmark datasets show that our method significantly surpasses existing methods.

研究の動機と目的

• 等角投影（ERP）に限定された従来の360°画像スーパーレゾリューション手法の限界を解消し、角度歪みを引き起こし、柔軟性を制限する。
• ERPなどの2次元平面投影に内在するピクセル密度のばらつきと歪み問題を、アイコサヘドロンメッシュを用いて球面面上に360°画像をモデル化することで克服する。
• 任意の投影タイプ（例：キューブマップ、等角投影）に対して高解像度画像再構成を可能にするために、任意の球面座標におけるRGB値を予測する。
• 平面画像変換に依存せずに、球面ディープラーニングを効率的かつメモリ最適化されたデータ構造およびネットワークモジュールを実装する。

提案手法

• 球面幾何を保持し歪みを最小限に抑えるために、アイコサヘドロンメッシュ上で直接動作する幾何学的に整合した畳み込み（GA-Conv）層を提案し、特徴抽出を実現する。
• 三角形面上の法線平面極座標に基づく位置埋め込みを用いて、任意の球面座標におけるRGB値を予測する球面局所的暗黙的画像関数（SLIIF）を導入する。
• 投影変換時のピクセルのずれを回避するため、連続的な球面表現を用いることで、任意の360°投影形式での出力が可能になる。
• 異なる投影タイプの特徴マップ間の類似度を測定する特徴損失を実装し、多様な投影形式における汎化性と性能を向上させる。
• 活性化メモリを従来の手法（例：SpherePHD）よりも削減するため、球面特徴の格納および処理に適したメモリ効率の良いデータ構造を設計する。
• 視覚的品質と異なる投影形式間での特徴の一貫性を向上させるために、L1損失と提案された特徴損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、等角投影に限定されず、任意の投影出力が可能な360°画像スーパーレゾリューションを達成できるか？
• RQ2 球面画像表現を連続的かつ微分可能にすることで、任意の球面座標における高精度なRGB予測が可能になるか？
• RQ3 幾何学的に整合した畳み込みを用いたアイコサヘドロンメッシュを用いることで、平面投影と比較して特徴抽出の効率性と歪み低減にどの程度寄与するか？
• RQ4 投影に依存しない特徴損失は、さまざまな360°画像投影形式において、どの程度性能向上をもたらすか？
• RQ5 提案されたデータ構造は、既存の球面畳み込みニューラルネットワーク実装と比較して、メモリ効率とスケーラビリティの面でどの程度優れているか？

主な発見

• SphereSRは、ODI-SRおよびSUN 360 Panoramaデータセットの両方で最先端の性能を達成し、×8スーパーレゾリューションにおいてWS-PSNRが24.37 dB、WS-SSIMが0.6777を記録した。
• GA-Convの導入により、×8 SRにおけるODI-SRでPSNRが0.14 dB、SUN 360 Panoramaで0.12 dB向上し、特徴抽出の有効性が裏付けられた。
• SLIIFは、×8 SRにおけるWS-PSNRでピクセルシャッフルベースラインを0.03 dB上回り、連続的かつ座標ベースの画像再構成における優位性が確認された。
• 特徴損失の導入により、すべてのスケールおよびデータセットで一貫した性能向上が得られ、WS-PSNRで0.04–0.05 dB、WS-SSIMで0.001–0.002の向上が見られた。
• 提案されたデータ構造は、高解像度入力レベルにおいて、SpherePHDと比較して活性化メモリを最大70％削減し、解像度が高くなるほどメモリ効率比が向上した。
• SphereSRは、再投影歪みが生じないため、ERPやキューブマップなどの任意の投影形式での柔軟なスーパーレゾリューション出力を可能にし、球面上で直接RGB値を予測する。