[論文レビュー] PSENet: Progressive Self-Enhancement Network for Unsupervised Extreme-Light Image Enhancement

Hue Minh Thi Nguyen, Diep Tran+2 more|arXiv (Cornell University)|Oct 3, 2022

Image Enhancement Techniques被引用数 4

ひとこと要約

PSENetは、複数の露出シミュレート源を用いた段階的自己強化により、偽正例画像を生成する画期的な教師なし深層学習フレームワークを提案する。明るさの適正さ、局所コントラスト、色の彩度に基づく知覚的品質スコアを反復的に用いて最良の画像領域を選択することで、実際の正例画像を一切必要とせず、過小露出および過大露出画像の両方で最先端の性能を達成する。

ABSTRACT

The extremes of lighting (e.g. too much or too little light) usually cause many troubles for machine and human vision. Many recent works have mainly focused on under-exposure cases where images are often captured in low-light conditions (e.g. nighttime) and achieved promising results for enhancing the quality of images. However, they are inferior to handling images under over-exposure. To mitigate this limitation, we propose a novel unsupervised enhancement framework which is robust against various lighting conditions while does not require any well-exposed images to serve as the ground-truths. Our main concept is to construct pseudo-ground-truth images synthesized from multiple source images that simulate all potential exposure scenarios to train the enhancement network. Our extensive experiments show that the proposed approach consistently outperforms the current state-of-the-art unsupervised counterparts in several public datasets in terms of both quantitative metrics and qualitative results. Our code is available at https://github.com/VinAIResearch/PSENet-Image-Enhancement.

研究の動機と目的

• 実写写真において一般的な過小露出および過大露出画像の両方を効果的に強化する教師なし手法の不足に対処すること。
• 過大露出に対して失敗する既存の教師なし手法の限界を、自己教師付きの偽正例画像生成メカニズムを導入することで克服すること。
• 同じ入力の複数の露出バリエーションから偽正例画像を合成することで、高価なペaired実際の適正露出画像の必要性を排除すること。
• 段階的精錬により画像品質を向上させ、各エポックの出力が直前のもの以上に良いことを保証すること。
• 最適な画像領域の選定をガイドする知覚的駆動型、非参照品質スコアの開発

提案手法

• 入力画像、ガンマ補正による明るい/暗いバージョン、および前エポックのネットワーク出力を含む4つのソースからの領域を組み合わせることで偽正例画像を構築する。
• 適正な明るさ、局所コントラスト、色の彩度に基づく非参照の知覚的品質スコアを用いて、複数のソース間で最良の画像領域を評価・選択する。
• 領域ごとの比較と統合戦略（RCS）を適用し、訓練エポックごとに段階的に偽正例画像を精錬することで、改善を保証する。
• 生成された偽正例画像を用いてエンドツーエンドの強化ネットワークを訓練し、ペアド実正例画像を一切使用しない自己教師学習を可能にする。
• 適正な明るさレベルのハイパーパrameter μ を最適化することで、過小露出および過大露出ケースの両方の性能をバランスさせる。
• ネットワーク自身の前エポック出力を新たな主要ソースとして活用するプログレッシブな訓練ループに偽正例画像生成を統合する。

Figure 1: Visual comparison on an over-exposed scene. Most of the previous state-of-the-art failed to recover the over-exposed case except recent work proposed by Afifi et al . [ 1 ] , which is trained with full supervision.

実験結果

リサーチクエスチョン

• RQ1 実際の正例画像に依存せず、過小露出および過大露出画像の両方を効果的に強化できる自己教師フレームワークは存在するか？
• RQ2 適正な明るさ、コントラスト、彩度に基づく非参照の知覚的品質スコアは、偽正例画像生成をガイドするのにどの程度有効か？
• RQ3 ネットワーク自身の前回出力を用いた段階的精錬は、画像強化品質の継続的向上をもたらすか？
• RQ4 適正な明るさレベルμの選択が、極端な照明条件下での一般化能力にどのように影響するか？
• RQ5 ペアド監視が欠如しているにもかかわらず、SICEおよびAfifiなどのベンチマークデータセットで、提案手法は既存の教師なし手法を上回るか？

主な発見

• SICEデータセットでは、PSENetはデフォルトのネットワーク幅（#チャネル×1）を用いた場合、PSNRが17.74、SSIMが0.704を達成し、最先端の性能を発揮した。
• Afifiデータセットでは、PSENetはPSNRが19.36、SSIMが0.869を達成し、すべての教師なしベースラインを上回り、教師ありSOTA性能に近づいた。
• 適正な明るさレベルμ = 0.5で訓練されたモデルが、過小露出および過大露出画像の回復において最も良好なバランスを実現し、最高の定量的スコアを記録した。
• 視覚的比較では、PSENetはゼロディシーエ、エレンゲイGAN、および Zheng と Gupta [45] よりも優れたコントラスト、色の保持、詳細回復を実現しており、特に影やハイライト領域で顕著であった。
• アブレーションスタディにより、提案された品質スコアおよび領域結合戦略（RCS）が、先行手法を著しく上回ることが確認され、[25]のベースラインから1.64のPSNR向上を達成した。
• ネットワーク幅の異なる設定に対してもモデルは安定しており、パrameterスケーリングに伴う性能低下が最小限に抑えられており、安定的かつ汎用的な最適化が可能であることが示された。

Figure 2: Overview of our proposed framework which comprises three main modules: reference image generator, pseudo GT image generator, and enhancement network. Given the input image $I$ , the reference image generator randomly generates multiple reference images with different exposure values, half