[論文レビュー] Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression

Yeying Jin, Wenhan Yang+1 more|arXiv (Cornell University)|Jul 21, 2022

Image Enhancement Techniques被引用数 14

ひとこと要約

本稿では、レイヤー分解と光効果抑制ネットワークを統合することで、暗い領域の強調と明るい効果の抑制を同時に実現する教師なし深層学習フレームワークを提案する。教師なしの事前知識および構造／高周波数（HF）一貫性損失によって、画像を照度、反射率、光効果の各レイヤーに分解し、輝きや蛍光灯効果を抑制しながら暗所領域を強調する。定量的・定性的な評価において、最先端手法を上回る性能を発揮する。

ABSTRACT

Night images suffer not only from low light, but also from uneven distributions of light. Most existing night visibility enhancement methods focus mainly on enhancing low-light regions. This inevitably leads to over enhancement and saturation in bright regions, such as those regions affected by light effects (glare, floodlight, etc). To address this problem, we need to suppress the light effects in bright regions while, at the same time, boosting the intensity of dark regions. With this idea in mind, we introduce an unsupervised method that integrates a layer decomposition network and a light-effects suppression network. Given a single night image as input, our decomposition network learns to decompose shading, reflectance and light-effects layers, guided by unsupervised layer-specific prior losses. Our light-effects suppression network further suppresses the light effects and, at the same time, enhances the illumination in dark regions. This light-effects suppression network exploits the estimated light-effects layer as the guidance to focus on the light-effects regions. To recover the background details and reduce hallucination/artefacts, we propose structure and high-frequency consistency losses. Our quantitative and qualitative evaluations on real images show that our method outperforms state-of-the-art methods in suppressing night light effects and boosting the intensity of dark regions.

研究の動機と目的

• 夜間画像における低照度と不均一な光効果（例：輝き、蛍光灯効果）の二重的な課題に対処すること。
• 過剰に明るい領域を強調せずに光効果を抑制し、過光量やアーチファクトを避けること。
• 背景の詳細を保持しながら暗所領域を強調し、幻覚を低減すること。
• 高価なペaired実世界データや合成された光効果のレンダリングを必要としない教師なし手法を開発すること。
• 白い（色相のない）光効果と背景シーンを区別する際のロバスト性を向上させること。

提案手法

• 本手法は、教師なしのレイヤー固有の事前知識損失を用いて、入力された夜間画像を照度、反射率（背景）、光効果の3つの成分に分解するレイヤー分解ネットワークを用いる。
• 光効果抑制ネットワークは、ペアでない光効果あり・なしの画像に対して教師なしで学習され、推定された光効果レイヤーをガイドとして用いることで、光効果領域に焦点を当て、抑制を実現する。
• VGGベースの知覚特徴とガイド付きフィルタリングを用いた構造および高周波（HF）特徴の一貫性損失を導入し、背景の詳細を保持するとともにアーチファクトを抑制する。
• 光効果抑制と暗所領域強調の間の整合性を保証するために、エンド・ツー・エンドの訓練を通じて、分解と抑制を共同最適化する。
• 光効果レイヤーをマスクとして用いることで、白色または色相のない光効果であっても、正確な局所化と抑制が可能になる。
• ペアでの実データや合成された光効果レンダリングに依存しないように、教師なしの一貫性損失と分解事前知識を活用する。

実験結果

リサーチクエスチョン

• RQ1 教師なしのレイヤー分解が、夜間画像における照度、反射率、光効果成分を効果的に分離できるか？
• RQ2 ペアでの実データや合成光効果レンダリングがなくても、光効果抑制を効果的に実現できるか？
• RQ3 構造および高周波特徴の一貫性損失が、強調処理中に幻覚を低減し、背景の詳細を保持するのに有効か？
• RQ4 推定された光効果レイヤーを抑制ネットワークのガイドとして用いることで、特に白色または色相のない光効果に対して抑制の正確性が向上するか？
• RQ5 分解と抑制の共同学習は、順次処理よりも夜間画像強調においてより効果的か？

主な発見

• 提案手法は、実際の夜間画像において、定量的・定性的に、光効果の抑制と暗所領域の強調の両面で最先端手法を上回る性能を発揮する。
• アブレーションスタディにより、分解と抑制の共同学習が不可欠であることが確認され、順次処理ではアーチファクトの増幅や効果のない抑制が生じる。
• 光効果レイヤーのガイドを用いることで、特に白色および多色光効果に対して抑制の正確性が顕著に向上し、背景領域からの分離がより良好に実現される。
• 構造および高周波特徴の一貫性損失は、アーチファクトの抑制と欠落した背景詳細の回復に効果的であり、幻覚を低減する。
• ペアでの訓練データや合成光効果レンダリングを一切必要としないため、実世界の夜間画像において優れた一般化性能を示す。
• 定性的な結果から、本手法は明るい領域を過剰に強調せず、自然な外観を維持しているのに対し、既存手法は光効果を拡大してしまう。