[論文レビュー] A Study of Efficient Light Field Subsampling and Reconstruction Strategies

Yang Chen, Martin Alain+1 more|arXiv (Cornell University)|Aug 11, 2020

Ocular and Laser Science ResearchMedicine被引用数 20

ひとこと要約

本稿では、実用的応用における角分解能の向上を目的として、効率的な光場サブサンプリングおよび再構成戦略を調査している。縦方向、横方向、チェッカー盤パターンのサブサンプリングパターンを評価し、スパarsなコーナー視点から中間視点を生成するための6種類の再構成手法を比較している。主な発見は、縦方向のサブサンプリングに続いて横方向の再構成を行うことで、最高の性能が得られ、全角密度におけるPSNRが37.34 dB、SSIMが0.9886に達したことである。

ABSTRACT

Limited angular resolution is one of the main obstacles for practical applications of light fields. Although numerous approaches have been proposed to enhance angular resolution, view selection strategies have not been well explored in this area. In this paper, we study subsampling and reconstruction strategies for light fields. First, different subsampling strategies are studied with a fixed sampling ratio, such as row-wise sampling, column-wise sampling, or their combinations. Second, several strategies are explored to reconstruct intermediate views from four regularly sampled input views. The influence of the angular density of the input is also evaluated. We evaluate these strategies on both real-world and synthetic datasets, and optimal selection strategies are devised from our results. These can be applied in future light field research such as compression, angular super-resolution, and design of camera systems.

研究の動機と目的

• 実用的応用における角分解能の向上を目的とした、最適な光場サブサンプリングおよび再構成戦略の特定。
• 固定サンプリング比における、縦方向、横方向、チェッカー盤パターンの異なるサブサンプリングパターンが再構成品質に与える影響の評価。
• 3×3グリッドにおける4コーナー視点から中間視点を生成するための複数の再構成戦略の比較。
• マルチステージ再構成アプローチを用いて、角密度が再構成品質に与える影響の分析。
• 光場圧縮、カメラシステム設計、スーパーサンプルリング研究における実用的インサイトの提供。

提案手法

• すべてのサブサンプリングおよび再構成戦略を評価するベンチマークとして、最先端のビュー合成手法（SepConv）が選択された。
• 実世界の（HCI、Lytro）および合成の（スタンフォード）光場データセット上でサブサンプリング戦略をテストし、計算効率を高めるために視点を512×512解像度にクロップした。
• 再構成戦略には、2D H-V（水平方向に次いで垂直方向）、2D V-H（垂直方向に次いで水平方向）、対角線手法、および再トレーニングされたSepConvモデルを用いた4Dオムニ／対角線アプローチが含まれる。
• マルチステージ再構成を再帰的に適用し、3つの角密度レベル（レベル1～3）でスパース入力から高密度光場を生成した。結果は全視点で平均化された。
• PSNRとSSIMを用いてRGB画像の定量的評価が行われ、各光場の全視点にわたる平均スコアが計算された。
• ベンチマークモデルは2D戦略用にファインチューニングされ、4D戦略用に再トレーニングされ、各手法間の公平な比較が保証された。

実験結果

リサーチクエスチョン

• RQ1 固定サンプリング比における、縦方向、横方向、チェッカー盤パターンのサブサンプリングパターンの中で、どれが再構成品質が最も高いか？
• RQ2 4コーナー視点から中間視点を生成する際、2D H-V、2D V-H、対角線、4D手法のうち、どれが最高品質の視点を得られるか？
• RQ3 マルチステージ再構成パイプラインを用いる場合、角密度が再構成光場の品質にどのように影響するか？
• RQ4 異なるキャプチャジオメトリを有する多様な光場データセットにおいて、最適なサブサンプリングおよび再構成戦略は一般化可能か？
• RQ5 光場応用における、サブサンプリング効率と再構成忠実度のトレードオフは何か？

主な発見

• 縦方向のサブサンプリングは、常に横方向およびチェッカー盤パターンを上回り、データセット全体で平均PSNRが39.74 dB、SSIMが0.9925に達した。
• 2D H-V再構成戦略（縦方向に次いで横方向の補間）が、最高のPSNR（37.42 dB）とSSIM（0.9884）を達成し、他の2Dおよび4D戦略を上回った。
• チェッカー盤サブサンプリングは最悪の性能を示し、4視点入力用にSepConvを再トレーニングする際のモデル適応が不適切だったことが原因とされる。
• 角密度がレベル1からレベル3に低下するに従い、PSNRは37.34 dBから31.79 dBに低下し、SSIMは0.9886から0.9613に低下した。これは、スパarsityと品質の明確なトレードオフを示している。
• 視覚的分析から、対角線再構成戦略では、特に剣先のような深度不連続部でオクルージョンアーチファクトが顕著に観察された。
• マルチステージ2D H-V戦略は、入力視点が空間的に適切に分散されている場合に、スパースコーナー視点から高密度光場を再構成するのに最適であると判明した。