[論文レビュー] Lightweight HDR Camera ISP for Robust Perception in Dynamic Illumination Conditions via Fourier Adversarial Networks

Pranjay Shyam, Sandeep Singh Sengar+2 more|arXiv (Cornell University)|Apr 4, 2022

Image Enhancement Techniques被引用数 8

ひとこと要約

本稿では、周波数ドメインの事前知識とコンactなマルチスケール特徴抽出機構を活用することで、動的照明下でも耐障害性を高めるための軽量で二段階の画像信号処理（ISP）パイプラインを提案する。Fourier adversarial networkを用いることで、露出バランスの改善とノイズ低減を実現し、計算コストを最小限に抑えながら、物体検出やセマンティックセグメンテーションなどの下流タスクの性能を向上させる。

ABSTRACT

The limited dynamic range of commercial compact camera sensors results in an inaccurate representation of scenes with varying illumination conditions, adversely affecting image quality and subsequently limiting the performance of underlying image processing algorithms. Current state-of-the-art (SoTA) convolutional neural networks (CNN) are developed as post-processing techniques to independently recover under-/over-exposed images. However, when applied to images containing real-world degradations such as glare, high-beam, color bleeding with varying noise intensity, these algorithms amplify the degradations, further degrading image quality. We propose a lightweight two-stage image enhancement algorithm sequentially balancing illumination and noise removal using frequency priors for structural guidance to overcome these limitations. Furthermore, to ensure realistic image quality, we leverage the relationship between frequency and spatial domain properties of an image and propose a Fourier spectrum-based adversarial framework (AFNet) for consistent image enhancement under varying illumination conditions. While current formulations of image enhancement are envisioned as post-processing techniques, we examine if such an algorithm could be extended to integrate the functionality of the Image Signal Processing (ISP) pipeline within the camera sensor benefiting from RAW sensor data and lightweight CNN architecture. Based on quantitative and qualitative evaluations, we also examine the practicality and effects of image enhancement techniques on the performance of common perception tasks such as object detection and semantic segmentation in varying illumination conditions.

研究の動機と目的

• グレア、色ずれ、変動するノイズといった実世界の劣化要因にさらされた場合に失敗する、現在の最先端（SoTA）低照度画像強調（LLIE）手法の限界を是正すること。
• まず露出バランスをとる段階と、ノイズおよびアーティファクトを除去する段階に分かれる、軽量で二段階の画像強調パイプラインの開発。
• RAWセンサデータを用いて、提案された強調アルゴリズムをカメラISPパイプラインに統合し、エンドツーエンドの画像品質を向上させ、後処理負荷を軽減すること。
• さまざまな照明条件下での物体検出やセマンティックセグメンテーションなどの下流タスクへの画像強調の影響を評価すること。
• Fourier adversarial trainingを用いたGANベースの強調が、非敵対的ベースラインと比較してより自然で構造的に忠実な画像を生成することを示すこと。

提案手法

• 二段階のネットワークを設計：最初の段階では、チャネルワイドな注目機構を用いたコンactなマルチスケール特徴抽出モジュールにより、多様な受容野にわたる特徴を統合し、粗い露出バランスを実行する。
• 二番目の段階では、強調画像における構造的およびテクスチャ的忠実度を保持しながら、ノイズとアーティファクトの除去に焦点を当てる。
• 空間ドメインと周波数ドメインの性質の双対性を活用し、さまざまな照明条件下でも一貫した強調を保証する、Fourierスペクトルに基づく敵対的フレームワーク（AFNet）を導入する。
• 高速フーリエ変換（FFT）を用いて、マグニチュード成分と位相成分を分析し、明るい画像に見られる高周波成分を、強調のための構造的事前知識として活用する。
• 周波数ドメイン損失を用いて敵対的ネットワークを訓練し、リアルなテクスチャ回復を促進し、高周波成分の歪みを低減する。
• デモザイクされたRAW画像を処理することで、モデルをカメラISPパイプラインに統合し、計算オーバーヘッドを低減したリアルタイム・オンセンサ強調を実現する。

実験結果

リサーチクエスチョン

• RQ1 軽量で二段階の画像強調パイプラインは、計算コストを最小限に抑えつつ、動的照明条件下での耐障害性を向上させることができるか？
• RQ2 特にFourierスペクトル解析を通じた周波数ドメイン事前知識を組み込むことで、低照度画像における構造的忠実度が向上し、アーティファクトが低減するか？
• RQ3 Fourierドメイン特徴を用いて訓練されたGANベースの敵対的フレームワークは、非敵対的SoTA手法と比較して、画像の現実性および知覚的品質をどの程度向上させることができるか？
• RQ4 RAWデータを用いて画像強調をカメラISPパイプラインに直接統合することは、sRGB画像に対する後処理よりも優れた性能をもたらすか？
• RQ5 厳しい照明条件下で、画像強調は物体検出やセマンティックセグメンテーションなどの下流タスクの性能にどのような影響を与えるか？

主な発見

• 提案されたAFNetは、LOLデータセットにおいてPSNR 29.15、LPIPS 0.29を達成し、URIE や EnlightenGAN といったSoTA手法を上回る性能を示した。
• 二段階アーキテクチャにより、モデルサイズと推論時間を削減しながらも、高品質な出力を維持でき、エッジデプロイメントに適している。
• 周波数ドメイン事前知識の活用により、高周波成分の回復が顕著に向上したことが、エッジおよびテクスチャ表現が強化されたパワースペクトル密度（PSD）曲線から明らかになった。
• ExDark上でDeformable DETRを用いた物体検出に適用した結果、RAWの低照度入力と比較してmAPが25％相対的に向上した。
• デモザイクされたRAW画像を処理できるようにモデルを再構成したところ、計算コストが1.8 GMACsと低く抑えられ、RAW2RGB-GANなどの専用RAW強調モデル（2.1 GMACs）と同等の性能を達成した。
• AFNetによるGANベースの訓練により、NIQE（0.82）とLPIPS（0.29）のスコアが低く抑えられ、より自然で歪みの少ない画像が得られ、知覚的品質が向上したことが確認された。