[論文レビュー] NTIRE 2023 Challenge on Light Field Image Super-Resolution: Dataset, Methods and Results

Yingqian Wang, Longguang Wang+4 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、光場画像超解像に関するNTIRE 2023チャレンジを提示し、新しいベンチマークデータセット（NTIRE-2023）、モデル開発用のBasicLFSRツールボックス、および11の優れた手法の包括的評価を導入した。このチャレンジは最先端の結果を達成し、優勝手法は、深層学習を用いて4次元光場データにおける空間的および角度的情報の高度な統合を実現することで、先行SOTA手法よりPSNRを約1 dB向上させた。

ABSTRACT

In this report, we summarize the first NTIRE challenge on light field (LF) image super-resolution (SR), which aims at super-resolving LF images under the standard bicubic degradation with a magnification factor of 4. This challenge develops a new LF dataset called NTIRE-2023 for validation and test, and provides a toolbox called BasicLFSR to facilitate model development. Compared with single image SR, the major challenge of LF image SR lies in how to exploit complementary angular information from plenty of views with varying disparities. In total, 148 participants have registered the challenge, and 11 teams have successfully submitted results with PSNR scores higher than the baseline method LF-InterNet \cite{LF-InterNet}. These newly developed methods have set new state-of-the-art in LF image SR, e.g., the winning method achieves around 1 dB PSNR improvement over the existing state-of-the-art method DistgSSR \cite{DistgLF}. We report the solutions proposed by the participants, and summarize their common trends and useful tricks. We hope this challenge can stimulate future research and inspire new ideas in LF image SR.

研究の動機と目的

• ×4の拡大率を有するバイキュービック劣化下での光場（LF）画像超解像（SR）のための標準化されたベンチマークを確立すること。
• 単一画像やステレオSRよりも複雑である4次元光場データにおける空間的および角度的情報を効果的に統合するというコアな課題に取り組むこと。
• コミュニティ主導のチャレンジを通じて、低レベルビジョンと3次元シーン再構築の分野を橋渡しすることで、クロスドメインビジョン分野の研究を促進すること。
• BasicLFSRツールボックスを通じて再現可能でオープンソースのフレームワークを提供し、手法の開発と比較を加速すること。
• 多様な深層学習アーキテクチャをLF-SRで評価・比較し、効果的な設計パターンと実用的な改善を同定すること。

提案手法

• チャレンジは、公開利用可能なLFデータセットを標準化されたバイキュービックダウンサンプリング（×4）を用いて得た新しいデータセット、NTIRE-2023を検証およびテストに使用した。
• LF-SRモデルのデータロード、前処理、トレーニングを簡素化するためのカスタムツールボックス、BasicLFSRが提供された。このツールボックスは一般的なディープラーニングフレームワークをサポートしている。
• 参加者は、空間的および角度的相関を活用するために、チャネル注目機構付きCNN、残留学習、Transformerベースのモジュールを含む多様なアーキテクチャを採用した。
• 優勝手法や他の手法は、微細なディテールやエッジ構造を保持するために、L1損失とEPI勾配損失を組み合わせたハイブリッド損失関数を用いた。
• ネットワークは2段階戦略で訓練された：浅い特徴抽出の後に、残留ブロックや注目モジュールによる深層特徴学習が行われた。
• フレームワークはMacPI（マルチアングルパッチベース画像）処理をサポートしており、再配置された光場データ上で2次元畳み込み演算を実行することで、効率的な特徴学習が可能になった。

Figure 1 : An illustration of the center-view images in the developed NTIRE-2023 LF dataset. Both validation and test sets contain 16 real-world and 16 synthetic LFs, respectively.

実験結果

リサーチクエスチョン

• RQ1 4次元光場データにおける空間的および角度的情報を超解像に統合するための最も効果的なアーキテクチャは何か？
• RQ2 特にEPI勾配損失とL1損失を含む異なる損失関数は、LF-SRにおける知覚的品質と構造的忠実度にどのように影響を与えるか？
• RQ3 残留学習や注目メカニズムは、標準的なCNNと比較してLF-SRにおける性能向上にどの程度寄与するか？
• RQ4 どのような設計パターンとトレーニング戦略が、多様なLF-SRモデルにおいて一貫した改善をもたらすか？
• RQ5 提案されたベンチマークとツールボックスは、LF-SR研究における再現可能性と公平な比較をどの程度促進するか？

主な発見

• 優勝手法は、先行SOTA手法であるDistgSSRよりもPSNRを約1 dB向上させ、顕著な性能向上を示した。
• 11のチームがベースラインのLF-InterNetを上回るPSNRを達成し、コミュニティの関与と手法的イノベーションの両方が顕著に表れた。
• 上位手法の共通する傾向として、残留学習、チャネル注目、L1とEPI勾配損失を組み合わせたハイブリッド損失関数の使用が見られた。
• BasicLFSRツールボックスは、大多数の参加者がトレーニングおよび推論に活用したことで、モデル開発の加速に効果的であることが実証された。
• NTIRE-2023データセットは多様性があり代表的であることが判明し、さまざまな光場シーンや複雑さにおいて堅牢な一般化性能を示した。
• このチャレンジは、LF-SR研究分野で今後標準的とされるべき、重要なアーキテクチャ的およびトレーニング上の改善を効果的に同定した。

Figure 2 : The OpenMeow Team: The network architecture of the proposed DistgEPIT.