[論文レビュー] Pseudocylindrical Convolutions for Learned Omnidirectional Image Compression

Mu Li, Kede Ma+2 more|arXiv (Cornell University)|Dec 25, 2021

Advanced Vision and Imaging被引用数 4

ひとこと要約

本稿では、360°画像圧縮のためのエンドツーエンドのディープラーニングベースのアプローチとして、擬円筒畳み込みと学習可能な擬円筒表現を提案する。球面から平面へのマッピングを再パrameter化することで歪みを低減し、擬円筒パディングを用いて効率的な畳み込みを可能にすることで、19,790枚の画像において、従来のERPや他の投影法と比較して、VSSIMで最大25.86%のBD-rate削減、BDエントロピーで13.97%の改善を達成した。

ABSTRACT

Although equirectangular projection (ERP) is a convenient form to store omnidirectional images (also known as 360-degree images), it is neither equal-area nor conformal, thus not friendly to subsequent visual communication. In the context of image compression, ERP will over-sample and deform things and stuff near the poles, making it difficult for perceptually optimal bit allocation. In conventional 360-degree image compression, techniques such as region-wise packing and tiled representation are introduced to alleviate the over-sampling problem, achieving limited success. In this paper, we make one of the first attempts to learn deep neural networks for omnidirectional image compression. We first describe parametric pseudocylindrical representation as a generalization of common pseudocylindrical map projections. A computationally tractable greedy method is presented to determine the (sub)-optimal configuration of the pseudocylindrical representation in terms of a novel proxy objective for rate-distortion performance. We then propose pseudocylindrical convolutions for 360-degree image compression. Under reasonable constraints on the parametric representation, the pseudocylindrical convolution can be efficiently implemented by standard convolution with the so-called pseudocylindrical padding. To demonstrate the feasibility of our idea, we implement an end-to-end 360-degree image compression system, consisting of the learned pseudocylindrical representation, an analysis transform, a non-uniform quantizer, a synthesis transform, and an entropy model. Experimental results on $19,790$ omnidirectional images show that our method achieves consistently better rate-distortion performance than the competing methods. Moreover, the visual quality by our method is significantly improved for all images at all bitrates.

研究の動機と目的

• 360°画像圧縮における等角投影（ERP）の非一様なサンプリングと歪みの問題に対処すること。
• レート-歪み損失を最小化しつつ計算効率を維持する、微分可能で学習可能なマップ投影法の設計。
• 非長方形の360°表現上で標準的なCNNが直接動作できるようにする、擬円筒畳み込みの開発。
• 提案された表現とレイヤーを用いたエンドツーエンドのディープラーニング圧縮システムの構築。視覚的品質とビットレート効率の最適化を目的とする。
• 学習可能な擬円筒表現と畳み込みが、従来のERPやタイル化投影法よりも、レート-歪み性能および視覚的品質で優れていることを実証すること。

提案手法

• 地図投影法の一般化として、緯度依存のスケーリングを用いたパラメトリックな擬円筒表現を提案。面積歪みと角度歪みのバランスを取る。
• レート-歪み性能の代理指標を用いて、パラメータをグリーディー法で最適化。歪みを低減しつつビットレートを制御する。
• 変換された360°画像グリッド上で標準的な畳み込み操作を可能にする、新しい「擬円筒パディング」技術を用いて、擬円筒畳み込みを設計。
• 標準的なエンドツーエンド圧縮フレームワーク（解析変換、非一様量子化、合成変換、エントロピーモデル）を、学習された擬円筒表現上で運用。
• VMSEに基づく歪み測定と、システム全体の共同最適化により、レート-歪み性能を向上。
• 19,790枚の360°画像からなる大規模データセットを用いて、ERP、サインスイドタイル、タイル化表現と比較して手法の有効性を検証。

実験結果

リサーチクエスチョン

• RQ1 微分可能で学習可能な擬円筒マップ投影法は、標準的なERPと比較して歪みを低減し、圧縮効率を向上させることができるか？
• RQ2 提案された擬円筒畳み込みは、計算速度を損なわず、360°画像上で効率的かつ効果的な特徴抽出を可能にするか？
• RQ3 擬円筒表現とディープ圧縮ネットワークの共同最適化により、固定投影法と比較して、より優れたレート-歪み性能と視覚的品質が得られるか？
• RQ4 提案手法は、圧縮を越えて、他の360°ビジョンタスクに対してもスケーラブルかつ移植可能か？
• RQ5 ビットレートの削減と視覚的品質の観点から、学習された表現はサインスイドまたはタイル化表現と比較してどのように優れているか？

主な発見

• 最適化された擬円筒表現は、ベースライン手法と比較して、BDエントロピーで13.97%、BD-VSSIMで25.86%の向上を達成し、優れたレート-歪み性能と視覚的品質を示した。
• ERPおよびサインスイドタイルと比較して優れた性能を示し、最適化された表現により、BD-BR指標で4.30%のビットレート削減と、ERP比で14.22%のPSNR向上を達成した。
• 擬円筒畳み込みは、標準畳み込みと同等の速度を維持し、平均で0.003秒の追加遅延しか発生しなかった。計算上の実現可能性が裏付けられた。
• アブレーションスタディの結果、学習された表現と擬円筒畳み込みの両方が不可欠であり、特に表現学習が視覚的品質の向上に寄与していることが確認された。
• 全ビットレートで視覚的品質が著しく向上し、全テスト画像においてPSNRおよびVSSIMの一貫した向上が得られた。
• 互換性と効率性を備えているため、既存の動画コーデックや広範な360°ビジョン応用分野への統合の可能性が高く、強力な応用可能性を示した。