[論文レビュー] Spatial-Angular Interaction for Light Field Image Super-Resolution

Yingqian Wang, Longguang Wang+4 more|arXiv (Cornell University)|Dec 17, 2019

Advanced Vision and Imaging参考文献 52被引用数 9

ひとこと要約

本稿では、低解像度の光場入力から空間的および角度的特徴を分離し、段階的に統合する空間的・角度的相互作用ネットワークであるLF-InterNetを提案する。新しい相互作用メカニズムを活用することで、先行手法よりも低いFLOPsで最先端のPSNRおよびSSIMスコアを達成し、高品質で詳細を保持した再構成を効率的なエンドツーエンド処理で実現する。

ABSTRACT

Light field (LF) cameras record both intensity and directions of light rays, and capture scenes from a number of viewpoints. Both information within each perspective (i.e., spatial information) and among different perspectives (i.e., angular information) is beneficial to image super-resolution (SR). In this paper, we propose a spatial-angular interactive network (namely, LF-InterNet) for LF image SR. Specifically, spatial and angular features are first separately extracted from input LFs, and then repetitively interacted to progressively incorporate spatial and angular information. Finally, the interacted features are fused to superresolve each sub-aperture image. Experimental results demonstrate the superiority of LF-InterNet over the state-of-the-art methods, i.e., our method can achieve high PSNR and SSIM scores with low computational cost, and recover faithful details in the reconstructed images.

研究の動機と目的

• 4D光場における空間的および角度的情報を効果的に活用できない既存の光場超解像手法の限界を解消すること。
• 使用されない視点からの補完的情報を無視する二段階型またはビュー選択型アプローチの非効率性と劣化した性能を克服すること。
• 各サブアパーチャー画像内の空間的文脈と複数のビュー間の角度的一致性を同時に活用する深層学習フレームワークを設計すること。
• 計算コストを抑えながら、実世界の劣化に強く、高解像度の光場再構成を実現すること。

提案手法

• 本手法は、入力光場から空間的および角度的特徴を別々に抽出する二重ブランチ特徴抽出器を導入し、特徴の分離を可能にする。
• 複数段階にわたり、空間的および角度的文脈を交互に注目することで、特徴を段階的に精緻化する空間的・角度的相互作用モジュールを設計した。
• 相互作用メカニズムにより、空間的および角度的表現間で双方向の情報フローが可能となり、モデルの深さを著しく増さずに特徴表現を向上させた。
• 最終的な統合特徴は、共有された超解像ヘッドを用いてエンドツーエンドで高解像度サブアパーチャー画像を再構成する。
• 再構成画像の構造的およびテクスチャ的詳細を保持するために、知覚的損失とコンテンツ損失を用いてネットワークを訓練した。
• 効率性を最適化したアーキテクチャにより、低FLOPsと小さなモデルサイズ（1.51M–1.66Mパラメータ）を達成しながらも、高い性能を維持した。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、光場画像の超解像において、空間的および角度的情報を効果的かつ効率的に活用できるか？
• RQ2 段階的な空間的・角度的特徴相互作用は、空間的および角度的特徴を別々または逐次処理する手法と比べてどのように優れているか？
• RQ3 統一されたネットワークアーキテクチャは、二段階型またはビュー選択型手法に比べ、再構成品質および計算効率の面でどの程度優れているか？
• RQ4 本手法は、トレーニング時に見られなかった実世界の劣化パターンに対しても、どの程度一般化性能を示すか？

主な発見

• 2×超解像ベンチマークにおいて、LF-InterNetは42.36 dBのPSNRおよび0.985のSSIMを達成し、RCAN、SAN、resLF、LFSSR、LF-ATOを上回った。
• 4×超解像においては、37.12 dBのPSNRおよび0.960のSSIMを達成し、LF-ATOやLFSSRを含むすべての最先端手法を上回った。
• 特徴の深さを低減（32）しても高い性能を維持し、PSNRが41.85 dB、SSIMが0.984を記録し、より複雑なモデルと同等の性能を示した。
• 実世界の劣化を含む未観測のUCSDデータセットにおいて、LF-InterNetはすべてのベースラインをPSNRおよびSSIMで上回り、強く一般化した。
• HCIold_MonasRoomデータセットでは、異なる視点におけるPSNRの分布が均等（標準偏差 = 0.26）を示し、視点間で一貫した性能を発揮した。
• 視覚的結果から、LF-InterNetはシャープなディテールとより少ないアーティファクトを再構成できており、特に実世界の劣化下でも顕著であった。