[論文レビュー] Breaking the Spatio-Angular Trade-off for Light Field Super-Resolution via LSTM Modelling on Epipolar Plane Images

Hao Zhu, Mantang Guo+3 more|arXiv (Cornell University)|Feb 15, 2019

Advanced Vision and Imaging参考文献 29被引用数 6

ひとこと要約

本論文は、エピポールプレーン画像（EPIs）を2次元シーケンスとしてモデル化することで、従来の空間的・角度的トレードオフを打ち破る新しいCNN-LSTMフレームワークを提案する。EPIにおける幾何的連続性に着目することで、意味的コンテンツではなく、特に高差分領域において最先端の性能を達成し、従来の学習ベースの手法よりも3dBを超える向上を実現する。

ABSTRACT

Light-field cameras (LFC) have received increasing attention due to their wide-spread applications. However, current LFCs suffer from the well-known spatio-angular trade-off, which is considered as an inherent and fundamental limit for LFC designs. In this paper, by doing a detailed geometrical optical analysis of the sampling process in an LFC, we show that the effective sampling resolution is generally higher than the number of micro-lenses. This contribution makes it theoretically possible to break the resolution trade-off. Our second contribution is an epipolar plane image (EPI) based super-resolution method, which can super-resolve the spatial and angular dimensions simultaneously. We prove that the light field is a 2D series, thus, a specifically designed CNN-LSTM network is proposed to capture the continuity property of the EPI. Rather than leveraging semantic information, our network focuses on extracting geometric continuity in the EPI. This gives our method an improved generalization ability and makes it applicable to a wide range of previously unseen scenes. Experiments on both synthetic and real light fields demonstrate the improvements over state-of-the-art, especially in large disparity areas.

研究の動機と目的

• 光場カメラ（LFCs）における固有の空間的・角度的解像度のトレードオフを克服すること。このトレードオフは、同時に高い空間的および角度的解像度を達成することを制限する。
• エピポールプレーン画像（EPIs）を用いて、空間的および角度的次元を統合的にスーパーレゾリューションする学習ベースの手法を開発すること。
• 意味的コンテンツではなく幾何的連続性に焦点を当てることで、多様でかつ未観測のシーンへの一般化を向上させること。
• 従来の深度ベースおよびEPIベースの手法の限界、特に大差分領域でのアーティファクトとEPIの一貫性の喪失を解消すること。
• 理論的および実験的に、特にぼけた状態の条件下で、LFCにおける有効なサンプリング解像度がマイクロレンズの数を上回り得ることを検証すること。

提案手法

• 本手法はLFCの幾何的光学的分析を実施し、特にぼけた状態の下で有効な空間的サンプリング解像度がマイクロレンズの数を上回り得ることを示している。
• 光場をエピポールプレーン画像（EPIs）の2次元シーケンスとしてモデル化し、複数の視点間でのエピポールラインの連続性を活用している。
• 幾何的連続性を捉えるために、特別に設計されたCNN-LSTMネットワークを提案しており、LSTMが2次元EPIシーケンス内の時間的依存性をモデル化している。
• 意味的インpaintingに依存するのではなく、幾何的構造の補間に焦点を当てることで、未観測のシーンへの一般化を強化している。
• 正および負の差分に強い耐性を付けるために、シアリングベースのデータオーグメンテーションが適用されている。
• 2次元シリーズモデルを用いることで、連続的および離散的なエピポールラインを一貫して表現可能となり、EPIスーパーレゾリューションの一貫性が向上している。

実験結果

リサーチクエスチョン

• RQ1 ぼけた状態における有効サンプリング解像度の分析により、光場カメラにおける空間的・角度的トレードオフを理論的に克服できるか？
• RQ2 エピポールプレーン画像（EPIs）を2次元シーケンスとしてモデル化することで、幾何的連続性を活用したスーパーレゾリューションが可能か？
• RQ3 幾何的連続性に焦点を当てたCNN-LSTMアーキテクチャは、意味的コンテンツや深度推定に依存する手法を上回る性能を示すか？
• RQ4 EPIの一貫性が弱い高差分領域において、本手法はどのように性能を発揮するか？
• RQ5 微調整なしで、未観測のシーンに効果的に一般化できるか？

主な発見

• 提案手法は、最先端の手法に対して3dB以上のPSNR向上を達成し、DisneyデータセットにおいてEPICNNの28.77dBと比較してピーク32.17dBを記録した。
• 高差分領域、例えば図11(a)のスコップの境界部では、本手法は鋭い物体の境界を保持しているが、EPICNNは著しいゴーストアーティファクトを生じている。
• 正および負の差分領域の両方で一貫した性能を維持している。これに対してLFSTは負の差分領域でアーティファクトを発生させている。
• EPIの一貫性が弱い大差分領域であっても、本手法は良好に再構成されたビューを生成しており、EPIの不連続性に対して高い耐性を示している。
• 解像度が高くなるほど性能が向上し、差分が大きくなると低下するが、本手法はあらゆる設定でベースラインを上回っており、特に高ズームアウト係数の状況で顕著な優位性を示している。
• 低差分および高差分の両ケースにおいて、再構成されたEPIは真値に非常に近い。これは、モデルが幾何的構造を効果的に保持できることを確認している。