[論文レビュー] NTIRE 2022 Challenge on High Dynamic Range Imaging: Methods and Results

Eduardo Pérez-Pellitero, Sibi Catley-Chandar+91 more|arXiv (Cornell University)|May 25, 2022

Image Enhancement Techniques被引用数 11

ひとこと要約

本論文は、計算制約が厳しい条件下で複数の低露出動的範囲（LDR）露出からHDR画像を再構築する手法を評価する、NTIRE 2022 HDR画像再構築チャレンジを提示する。チャレンジは、複雑さの制限下での忠実度最適化と、忠実度の下限を超える条件下での複雑さ最小化の2つのトラックを有する。1500件のトレーニング、60件のバリデーション、201件のテスト例を含むデータセットを用い、複数露出のLDR入力と正解HDR画像を提供。ALONG や VAlgo といったモデルにより、最高PSNR（最大39.417）と低MAC演算（200未満）を両立した最先端の結果を達成。

ABSTRACT

This paper reviews the challenge on constrained high dynamic range (HDR) imaging that was part of the New Trends in Image Restoration and Enhancement (NTIRE) workshop, held in conjunction with CVPR 2022. This manuscript focuses on the competition set-up, datasets, the proposed methods and their results. The challenge aims at estimating an HDR image from multiple respective low dynamic range (LDR) observations, which might suffer from under- or over-exposed regions and different sources of noise. The challenge is composed of two tracks with an emphasis on fidelity and complexity constraints: In Track 1, participants are asked to optimize objective fidelity scores while imposing a low-complexity constraint (i.e. solutions can not exceed a given number of operations). In Track 2, participants are asked to minimize the complexity of their solutions while imposing a constraint on fidelity scores (i.e. solutions are required to obtain a higher fidelity score than the prescribed baseline). Both tracks use the same data and metrics: Fidelity is measured by means of PSNR with respect to a ground-truth HDR image (computed both directly and with a canonical tonemapping operation), while complexity metrics include the number of Multiply-Accumulate (MAC) operations and runtime (in seconds).

研究の動機と目的

• 標準ハードウェア上でリアルタイムまたはインタラクティブ利用を想定した、効率的で低複雑性の計算的HDR画像再構築を促進すること。
• 制限付きの計算予算下で最先端のマルチフレームHDR統合手法を評価すること。
• PSNR、実行時間、MAC演算の観点から、モデル間の性能を比較すること。
• 複数露出LDR画像の選別されたデータセットを用いて、HDR再構築における忠実度と効率のベンチマークを確立すること。
• 実用的デプロイメントを想定した、軽量で高性能なHDRソリューションに関する研究を促進すること。

提案手法

• チャレンジは、3つのLDR画像（短、中、長露出）と対応する正解HDR画像を備えた、1500件のトレーニング、60件のバリデーション、201件のテスト例からなるデータセットを用いる。
• 参加者は、正解HDR画像とのPSNRと、トーンマッピング後のPSNRを、忠実度指標として評価される。
• 複雑さは、乗算累積（MAC）演算と秒単位の実行時間により測定され、低複雑性制約を強制する。
• 2つのトラックが定義されている：トラック1は固定されたMAC演算制限下でのPSNR最大化を目的とし、トラック2は基準PSNRを超える条件下での複雑さ最小化を目的とする。
• モデルは、軽量なU-Net変種やアテンション機構から、Swin Transformerやウェーブレットベースのネットワークまで多様で、効率性と特徴の統合に重点が置かれる。
• トレーニングデータは、半透過ミラーを備えたプロフェッショナルな2カメラレコーダーから得られ、ノイズはピxls測定モデルによりモデル化される。

実験結果

リサーチクエスチョン

• RQ1 マルチフレーム統合におけるHDR再構築の忠実度と計算複雑さのトレードオフは何か？
• RQ2 どの深層学習アーキテクチャが、厳密なMACおよび実行時間制約下でも最高のPSNRを達成できるか？
• RQ3 アテンション機構やトランスフォーマーに基づく設計は、CNNと比較して低複雑性HDR再構築においてどのように性能を発揮するか？
• RQ4 軽量でモバイルフレンドリーなモデルは、複雑さ制約下でも、重いネットワークを上回る忠実度を達成できるか？
• RQ5 最先端モデルとベースライン手法との間のPSNRおよび効率のパフォーマンスギャップは何か？

主な発見

• 最良のパフォーマンスを示したALONGは、直接PSNRが39.417、トーンマッピング後が37.424であり、MAC演算は198.47 GMACs、実行時間は0.324秒であった。
• VAlgoチームは、0.061秒の最短実行時間で、直接PSNRが37.888、トーンマッピング後が36.723を達成し、175.25 GMACsを要した。
• antins_cvチームは、2番目に高いPSNR（38.607）を達成し、最小の実行時間（0.185秒）と198.38 GMACsを記録した。
• AdeTeam や WorkFromHome などの複数のチームが、200 GMACs未満、0.2秒未満の推論時間でPSNRが38.0を超えた。
• チャレンジの結果から、アテンションベースおよび軽量U-Netアーキテクチャが、低複雑性で高忠実度を達成でき、標準CNNを効率面で上回ることが明らかになった。
• 結果は、現代のアーキテクチャを用いることで、厳密な計算制限下でも効率的なHDR再構築が可能であることを示している。