[論文レビュー] Light Field Spatial Super-resolution via Deep Combinatorial Geometry Embedding and Structural Consistency Regularization

Jing Jin, Junhui Hou+2 more|arXiv (Cornell University)|Apr 5, 2020

Advanced Vision and Imaging参考文献 36被引用数 7

ひとこと要約

本稿では、光場（LF）空間スーパーサンプリングのためのディープラーニングフレームワークを提案する。本手法は、全LFビュー間の補完的情報を統合するために組み合わせ幾何埋め込みを活用し、視差整合性を保持する構造に配慮した正則化モジュールを備える。本手法は最先端の性能を達成し、平均PSNRを1.0 dB以上向上させるとともに、従来手法と比較して計算コストを低減する。

ABSTRACT

Light field (LF) images acquired by hand-held devices usually suffer from low spatial resolution as the limited sampling resources have to be shared with the angular dimension. LF spatial super-resolution (SR) thus becomes an indispensable part of the LF camera processing pipeline. The high-dimensionality characteristic and complex geometrical structure of LF images make the problem more challenging than traditional single-image SR. The performance of existing methods is still limited as they fail to thoroughly explore the coherence among LF views and are insufficient in accurately preserving the parallax structure of the scene. In this paper, we propose a novel learning-based LF spatial SR framework, in which each view of an LF image is first individually super-resolved by exploring the complementary information among views with combinatorial geometry embedding. For accurate preservation of the parallax structure among the reconstructed views, a regularization network trained over a structure-aware loss function is subsequently appended to enforce correct parallax relationships over the intermediate estimation. Our proposed approach is evaluated over datasets with a large number of testing images including both synthetic and real-world scenes. Experimental results demonstrate the advantage of our approach over state-of-the-art methods, i.e., our method not only improves the average PSNR by more than 1.0 dB but also preserves more accurate parallax details, at a lower computational cost.

研究の動機と目的

• 制限されたセンサーサンプリングによるハンドヘルド光場カメラにおける低空間解像度の課題に対処する。
• 既存手法が視差間の補完的情報を十分に活用できないという限界を克服する。
• 再構築されたビュー間で正確な視差構造を保持し、3Dシーンにおける幾何的忠実性を維持する。
• 品質と速度の両方を向上させる、効率的でエンドツーエンドの学習ベースのフレームワークを開発する。

提案手法

• 全ビューから1つの出力へ変換するAll-to-Oneスーパーサンプリングモジュールを採用。幾何に配慮した埋め込み機構を用いて、全角度ビュー間の組み合わせ的相関を学習することで、各LFビューを個別にスーパーサンプリングする。
• 高次元空間における正しい視差関係を強制するために、構造に配慮した損失関数で訓練される構造的一致正則化ネットワークを導入する。
• 4次元光場の二平面パラメータライゼーションを用いる。各ビューは固定された角度位置における2次元スライスに対応し、エピポーラ平面幾何をモデル化可能となる。
• 視差構造を幾何的関係式で定式化する：$ L_{oldsymbol{u}}(oldsymbol{x}) = L_{oldsymbol{u}'}(oldsymbol{x} + d(oldsymbol{u}' - oldsymbol{u})) $、ここで$ d $は視差を表す。
• 中間再構築出力を期待されるエピポーラ幾何と比較することで、構造的一致性の低下を最小化するように正則化モジュールを訓練する。
• 段階的なトレーニングパイプラインを採用：まずAll-to-One SRモジュールを訓練し、その後正則化ブランチを含むフルモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 全光場ビュー間の補完的情報を効果的に統合することで、スーパーサンプリング性能をどのように向上させられるか？
• RQ2 学習された正則化モジュールは、再構築された光場におけるシーンの幾何的視差構造をどの程度正確に保持できるか？
• RQ3 構造に配慮した損失関数は、エピポーラ平面画像（EPI）の忠実性を向上させ、構造的一致性を強化できるか？
• RQ4 本手法は、最先端手法と比較して、より高い再構築品質と低い計算コストを達成できるか？

主な発見

• 提唱手法は、スタンフォード・リトロ・アーカイブおよびHCIデータセットを含むベンチマークデータセットにおいて、最先端手法を上回る平均PSNRを1.0 dB以上向上させる。
• 構造的一致性正則化モジュールは、'Occlusion_43_eslf' や 'Antiques_dense' といった困難なシーンで最大0.5 dBのPSNR向上を寄与する。
• ResLFや他の学習ベース手法と比較して、より高い再構築品質（PSNR/SSIM）と高速な推論速度を達成。RTX 2080 Ti上での4倍再構築時間は7.43秒である。
• EPIの可視化結果から、本手法は明瞭で一貫性のある直線を生成しており、視差構造の良好な保持を示している。
• 定量的なLFエッジ視差精度・再現率曲線では、本手法の結果が右上に近い位置に位置しており、優れた構造的一致性を示している。
• 実世界データではAll-to-Allベースラインと比較して0.6 dB以上のPSNR向上を達成し、合成データでは1.0 dB以上の向上を示す。