[論文レビュー] Fast and Efficient Lenslet Image Compression

Hadi Amirpour, António Pinheiro+2 more|arXiv (Cornell University)|Jan 27, 2019

Advanced Vision and Imaging参考文献 23被引用数 4

ひとこと要約

本稿では、新規のGOP構造とCTU深度予測を用いた蛇行走査擬似シーケンスにサブアパーチャー画像を整理することで、HEVCを用いた高速で効率的なレンズレット画像圧縮手法を提案する。画像を4つの領域に分割し、中央のビューを基準として用いることで、並列符号化を可能にし、符号化時間を最大80％短縮した。これにより、品質損失を最小限に抑えつつ、最先端の手法を上回るレート・ディストーション効率を達成した。

ABSTRACT

Light field imaging is characterized by capturing brightness, color, and directional information of light rays in a scene. This leads to image representations with huge amount of data that require efficient coding schemes. In this paper, lenslet images are rendered into sub-aperture images. These images are organized as a pseudo-sequence input for the HEVC video codec. To better exploit redundancy among the neighboring sub-aperture images and consequently decrease the distances between a sub-aperture image and its references used for prediction, sub-aperture images are divided into four smaller groups that are scanned in a serpentine order. The most central sub-aperture image, which has the highest similarity to all the other images, is used as the initial reference image for each of the four regions. Furthermore, a structure is defined that selects spatially adjacent sub-aperture images as prediction references with the highest similarity to the current image. In this way, encoding efficiency increases, and furthermore it leads to a higher similarity among the co-located Coding Three Units (CTUs). The similarities among the co-located CTUs are exploited to predict Coding Unit depths.Moreover, independent encoding of each group division enables parallel processing, that along with the proposed coding unit depth prediction decrease the encoding execution time by almost 80% on average. Simulation results show that Rate-Distortion performance of the proposed method has higher compression gain than the other state-of-the-art lenslet compression methods with lower computational complexity.

研究の動機と目的

• ライトフィールドカメラから得られるレンズレット画像の高データ量が実用的展開を妨げている問題に対処すること。
• サブアパーチャー画像間の空間的および角度的冗長性を活用することで、レンズレット画像の圧縮効率を向上させること。
• レート・ディストーション性能を損なわず、符号化複雑度を低減すること。
• サブアパーチャー画像グループを分離することで、レンズレット圧縮における並列処理を可能とすること。

提案手法

• 生のレンズレットデータからサブアパーチャー画像をレンダリングし、HEVC動画符号化用に擬似シーケンスに整理する。
• サブアパーチャー画像を4つの空間的領域にグループ化することで、予測距離を短くするための蛇行走査順序を導入する。
• 各領域の初期参照として、最も中央に位置するサブアパーチャー画像を用いることで、隣接ビューとの類似性を最大化する。
• 類似度に基づいて空間的に隣接するサブアパーチャー画像を選択する新規GOP構造を採用し、予測精度を向上させる。
• 共位置するコーディングユニット間の類似性を活用するCTU深度予測法を提案し、符号化複雑度を低減する。
• 各領域の独立符号化により並列処理が可能となり、全体の符号化時間が顕著に短縮される。

実験結果

リサーチクエスチョン

• RQ1 グループ化されたサブアパーチャー画像間における蛇行走査順序が、レンズレット圧縮における予測効率を向上させるか？
• RQ2 各グループの参照として中央サブアパーチャー画像を用いることで、レート・ディストーション性能にどのような影響を与えるか？
• RQ3 共位置ユニットの類似性に基づくCTU深度予測が、符号化複雑度をどの程度低減できるか？
• RQ4 独立した領域符号化により、レンズレット圧縮における効果的な並列処理が可能になるか？
• RQ5 提案手法は、既存の最先端のレンズレット圧縮技術と比較して、レート・ディストーションおよび複雑度の面でどの程度優れているか？

主な発見

• テストシーケンス全体で符号化時間の平均79.06％～80.74％の削減（ΔTp）を達成し、平均で80.13％の削減を実現した。
• CTU深度予測法を用いることで、並列処理を考慮しない状況でも平均37.07％の計算複雑度低減（ΔTs）を達成した。
• 4:2:2色度サブサンプリング下で、LAP、MuLe、WasPを上回るレート・ディストーション性能を示し、平均BDPSNRは-0.0132 dB、BDBRは0.5495％であった。
• SSIMおよびPSNR-Y曲線から、品質損失がほとんどない高品質を維持しており、基準のジグザグ走査や他の最先端手法を上回った。
• 中央サブアパーチャー画像を参照とし、空間的に隣接する参照を用いることで、予測精度が向上し、圧縮効率が向上した。
• 独立した領域符号化により、効果的な並列処理が可能となり、リアルタイムまたは高スルーレットなアプリケーションに非常に適していることがわかった。