[論文レビュー] LapEPI-Net: A Laplacian Pyramid EPI structure for Learning-based Dense Light Field Reconstruction

Gaochang Wu, Yebin Liu+2 more|arXiv (Cornell University)|Feb 17, 2019

Advanced Vision and Imaging参考文献 33被引用数 6

ひとこと要約

LapEPI-Netは、学習ベースの高密度な光場再構成におけるアーリアシング／ぼかしのトレードオフを解消するために、光場エピポーラ平面画像（EPI）をマルチスケールの空間成分に分解するラプラシアンピラミッドEPI（LapEPI）構造を提案する。フーリエドメインでのEPI解析を通じて、事前フィルタリングよりも空間スケールの低減がより効果的であることが示された。これにより、自然画像および非構造的光場からの転移学習を活用する、新たなネットワークアーキテクチャが構築され、非ラムベールト型およびアングルスパースなシーンにおいて、最小限のぼかしやアーリアシングで最先端の性能を達成した。

ABSTRACT

For dense sampled light field (LF) reconstruction problem, existing approaches focus on a depth-free framework to achieve non-Lambertian performance. However, they trap in the trade-off "either aliasing or blurring" problem, i.e., pre-filtering the aliasing components (caused by the angular sparsity of the input LF) always leads to a blurry result. In this paper, we intend to solve this challenge by introducing an elaborately designed epipolar plane image (EPI) structure within a learning-based framework. Specifically, we start by analytically showing that decreasing the spatial scale of an EPI shows higher efficiency in addressing the aliasing problem than simply adopting pre-filtering. Accordingly, we design a Laplacian Pyramid EPI (LapEPI) structure that contains both low spatial scale EPI (for aliasing) and high-frequency residuals (for blurring) to solve the trade-off problem. We then propose a novel network architecture for the LapEPI structure, termed as LapEPI-net. To ensure the non-Lambertian performance, we adopt a transfer-learning strategy by first pre-training the network with natural images then fine-tuning it with unstructured LFs. Extensive experiments demonstrate the high performance and robustness of the proposed approach for tackling the aliasing-or-blurring problem as well as the non-Lambertian reconstruction.

研究の動機と目的

• アングルスパースな状況下でも継続的に発生するアーリアシング／ぼかしのトレードオフを解消すること。
• ガラス、毛布、反射性素材などの非ラムベールト型シーンで失敗する深度ベースの手法の限界を克服すること。
• 事前フィルタリングに依存せずに、高周波成分およびアーリアシングを明示的に処理できるEPI構造を設計すること。
• プレノプティックカメラや顕微鏡アレイを含む多様な光場取得ジオメトリに一般化可能なディープラーニングフレームワークを構築すること。
• トレーニング時に深度監督や構造的LFデータを必要とせず、非ラムベールト型シーンにおいてもロバストで高精度なビュー合成を可能にすること。

提案手法

• フーリエドメインでの解析を通じて、アーリアシング／ぼかしのトレードオフを緩和するにあたり、EPIの空間スケールを低減することが、フィルターカーネルサイズの増大よりも効果的であることを示した。
• アーリアシング抑制のための低空間スケール成分と、ぼかし防止のための高周波リサイドルを備えた、ラプラシアンピラミッドEPI（LapEPI）構造を設計した。
• マルチスケールEPI構造をエンドツーエンドで処理できる、新たなネットワークアーキテクチャであるLapEPI-netを提案した。このアーキテクチャは、アングル分解能を保持しながら空間ディテールを強化した。
• 二段階の転移学習戦略を採用した：まず自然画像で事前学習して一般画像の事前知識を学び、次に非構造的光場で微調整してLF固有のパターンに適応した。
• 深度推定を回避することで、幾何学的または反射率の監督なしに、生のEPIから学習することで非ラムベールト型シーンの性能を向上させた。
• ネットワークは、スパarselyサンプルされた入力から高密度な光場を再構成するように学習させ、4コアCPU上で1ビューあたり1秒未塔の推論時間を達成した。

実験結果

リサーチクエスチョン

• RQ1 フーリエドメインにおけるEPIの空間スケール低減は、従来の事前フィルタリング手法よりも、アーリアシング／ぼかしのトレードオフをより効果的に解消できるか？
• RQ2 アングルスパースな光場において、高周波成分を保持しつつアーリアシングを抑制できるマルチスケールEPI構造は、どのように設計できるか？
• RQ3 自然画像および非構造的光場からの転移学習は、非ラムベールト型光場再構成における一般化性能をどの程度向上できるか？
• RQ4 深度監督や明示的な幾何モデリングなしに、学習ベースのEPIフレームワークが最先端の性能を達成できるか？
• RQ5 LapEPI構造は、プレノプティックカメラや顕微鏡アレイを含む多様な光場取得システムにおいて、どの程度の性能を示すか？

主な発見

• 反射性カテゴリでは、LapEPI-netはPSNR 35.42、SSIM 0.926を達成し、Wuら[31]（PSNR 29.22、SSIM 0.909）およびKalantariら[14]（PSNR 28.60、SSIM 0.795）を上回った。
• Stanford 2006顕微鏡データセットでは、LapEPI-netはPSNR 35.79、SSIM 0.913を達成し、Wuら[31]（PSNR 32.36、SSIM 0.885）およびKalantariら[14]（PSNR 24.91、SSIM 0.593）を著しく上回った。
• Cam. array microscopeデータセットでは、LapEPI-netはPSNR 29.67、SSIM 0.916を達成し、Wuら[31]（PSNR 27.08、SSIM 0.890）およびKalantariら[14]（PSNR 21.40、SSIM 0.701）を上回った。
• Golgi染色ニューロンやドーリアフィラスラリーブなど、複雑なオクルージョンや半透明性を示す挑戦的なシーンにおいても、アーティファクトのない結果を生成した。従来手法は、引き裂きやゴースト、ぼかしを示していた。
• 推論速度は4コアCPU上で1ビューあたり1秒未塔であり、品質を優れた水準に保ちながら、従来手法を上回る効率性を達成した。
• 自然画像および非構造的LFからの転移学習戦略により、プレノプティックカメラデータで微調整を行わなくても、強力な一般化性能が得られた。