[論文レビュー] SID-NISM: A Self-supervised Low-light Image Enhancement Framework

Lijun Zhang, Xiao Liu+2 more|arXiv (Cornell University)|Dec 16, 2020

Image Enhancement Techniques参考文献 24被引用数 4

ひとこと要約

本論文では、教師あり学習に依存する大規模なペairedデータセットを必要とせず、低照度画像を反射率、照度、ノイズの成分に分解する自己教師あり低照度画像強調フレームワーク、SID-NISMを提案する。自己教師あり画像分解ネットワーク（SID-Net）と非線形照度飽和マッピング関数（NISM）を活用することで、より少ないアーティファクトと向上した自然さを実現し、主観的および客観的評価において最先端の手法を上回る性能を示し、低照度条件下での物体検出において33.39%のmAPを達成した。

ABSTRACT

When capturing images in low-light conditions, the images often suffer from low visibility, which not only degrades the visual aesthetics of images, but also significantly degenerates the performance of many computer vision algorithms. In this paper, we propose a self-supervised low-light image enhancement framework (SID-NISM), which consists of two components, a Self-supervised Image Decomposition Network (SID-Net) and a Nonlinear Illumination Saturation Mapping function (NISM). As a self-supervised network, SID-Net could decompose the given low-light image into its reflectance, illumination and noise directly without any prior training or reference image, which distinguishes it from existing supervised-learning methods greatly. Then, the decomposed illumination map will be enhanced by NISM. Having the restored illumination map, the enhancement can be achieved accordingly. Experiments on several public challenging low-light image datasets reveal that the images enhanced by SID-NISM are more natural and have less unexpected artifacts.

研究の動機と目的

• 大規模なペアデータセットに依存する教師あり学習手法の低照度画像強調における限界を解消すること。
• 参照画像や事前学習を必要としない自己教師ありフレームワークを構築し、低照度画像を強調すること。
• リチナックス理論を用いて、画像を反射率、照度、ノイズ成分に分解することで、画像品質を向上させること。
• 不自然なアーティファクトを最小限に抑えながら、照度のコントラストを保持し、暗い領域を明るくすること。
• 物体検出などの下流のコンピュータビジョンタスクにおける手法の有効性を評価すること。

提案手法

• SID-NISMは、自己教師あり画像分解ネットワーク（SID-Net）を用い、低照度画像とそのヒストグラム等化済みバージョンを、反射率、滑らかな照度、ノイズマップに分解する。
• SID-Netは、反射率とノイズに特化した項を含む新しい損失関数を用い、物理的に妥当な結果に分解を誘導する。
• 照度マップは、コントラストを保持し、過剰露出を避けて暗い領域を明るくする非線形照度飽和マッピング（NISM）関数によって強調される。
• 最終的な強調画像は、ノイズ除去された反射率と強調された照度マップを組み合わせることで再構築される。
• フレームワークは、入力画像とそのヒストグラム等化バージョンのみを用いてエンドツーエンドに学習され、ペアデータの必要性が排除される。
• 公開データセット（LOLおよびMEF）を用いた評価が行われ、客観的指標と人間の知覚評価研究の両方を用いて、最先端手法と比較された。

実験結果

リサーチクエスチョン

• RQ1 ペアデータや事前知識に依存しない自己教師ありフレームワークは、高品質な低照度画像強調を達成できるか？
• RQ2 提案されたSID-Netは、自己教師ありの枠組みで、物理的に意味のある成分（反射率、照度、ノイズ）に低照度画像を分解できるか？
• RQ3 NISM関数は、コントラストを保持し、過剰な明るさを避けて照度強調をどの程度向上できるか？
• RQ4 強調された画像品質は、物体検出などの下流のコンピュータビジョンタスクにどのように影響を与えるか？
• RQ5 反射率およびノイズに特化した損失項は、全体の画像品質とアーティファクト低減にどの程度寄与するか？

主な発見

• ExDarkデータセットにおいて、SID-NISMは物体検出のmAPが33.39%を達成し、元の低照度画像（31.54%）を上回り、最良の手法（LIME：33.98%）と同等の性能を示した。
• LOLおよびMEFデータセットにおいて、SID-NISMはPSNR、SSIM、GE、CE、GMI、GMG、NIQEの指標で優れた結果を示し、全体的な画像品質と自然さの向上を示した。
• SID-Netに新たに導入された$γ_{R}$および$γ_{N}$損失項の導入により、色再現性、勾配保持、ノイズ抑制の面で顕著な向上が見られた。
• 人間の知覚評価では、参加者がSID-NISMの出力のほうが競合手法よりも好ましいと報告し、不自然なアーティファクトが少ないことを確認した。
• 外部のトレーニングデータを一切使用せず、自己教師あり学習の有効性が低照度強調タスクで実証された。
• 客観的指標および主観的評価の両面で、既存の最先端手法を上回り、本手法の強靭性と視覚的品質の高さが確認された。