[論文レビュー] Fast Enhancement for Non-Uniform Illumination Images using Light-weight CNNs

Feifan Lv, Bo Liu+1 more|arXiv (Cornell University)|May 31, 2020

Image Enhancement Techniques被引用数 5

ひとこと要約

本稿では、非一様な照度画像のリアルタイム強調のための軽量CNN（約5,000パラメータ）を提案する。Retinexに基づく二重強調（過小露出および過大露出領域）を統合し、融合処理とノイズ／アーティファクト除去を実施する。0.5MP画像で約50fpsのリアルタイム性能を達成し、新規の半教師付きデータセット（約82,000対の画像）を用いて、速度および品質の両面でSOTA手法を上回る性能を発揮する。

ABSTRACT

This paper proposes a new light-weight convolutional neural network (5k parameters) for non-uniform illumination image enhancement to handle color, exposure, contrast, noise and artifacts, etc., simultaneously and effectively. More concretely, the input image is first enhanced using Retinex model from dual different aspects (enhancing under-exposure and suppressing over-exposure), respectively. Then, these two enhanced results and the original image are fused to obtain an image with satisfactory brightness, contrast and details. Finally, the extra noise and compression artifacts are removed to get the final result. To train this network, we propose a semi-supervised retouching solution and construct a new dataset (82k images) contains various scenes and light conditions. Our model can enhance 0.5 mega-pixel (like 600*800) images in real time (50 fps), which is faster than existing enhancement methods. Extensive experiments show that our solution is fast and effective to deal with non-uniform illumination images.

研究の動機と目的

• 露出、コントラスト、色、ノイズ、アーティファクトを同時に処理できる非一様照度画像の強調処理の課題に対処する。
• パラメータ数が非常に少ない（約5,000パラメータ）ため、モバイルおよび組み込みシステムに適した軽量ディーブラーニングモデルを開発する。
• 従来のRetinex手法では同時に過小露出および過大露出領域の強調ができないという限界を克服する。
• 半教師付きのリトゥーシングパイプラインを用いて、COCOデータセットの実画像を基に、さまざまな露出条件をシミュレートすることで、非一様照度強調用の大規模かつ多様なベンチマークデータセットを構築する。
• 0.5MP画像でリアルタイムの推論速度（約50fps）を達成しつつ、視覚的および定量的性能を高い水準で維持する。

提案手法

• 元の画像とその反転画像を別々に処理することで、Retinex理論を適用し、それぞれ過小露出領域と過大露出領域を強調する。
• 二つのRetinex強調結果と元の画像を統合して、露出補正が行われ、コントラストとディテールが向上したバランスの取れた出力を生成する。
• 軽量CNN（Restoration-Net）を用いて、統合結果に残存するノイズおよび圧縮アーティファクトを除去する。
• 実画像を基に、COCOデータセットからの露出条件を模擬することで、半教師付きのリトゥーシングパイプラインを設計し、ペairedなトレーニングデータを生成する。
• 多様なシーンと照明条件を有する、約82,000対の画像ペアから構成される新規データセットを構築し、モデルのトレーニングおよび評価に用いる。
• 視覚的品質および忠実度を向上させるために、知覚的損失、構造的損失、照度に配慮した損失を含むマルチコンponent損失関数を採用する。

実験結果

リサーチクエスチョン

• RQ1 軽量CNNは、露出、コントラスト、色、ノイズ、アーティファクトを同時に処理しながら、非一様照度画像を効果的に強調できるか？
• RQ2 元画像と反転画像の両方に対して二重パスのRetinex強調処理は、標準的なRetinex手法に比べ、過小露出および過大露出補正のバランスを改善できるか？
• RQ3 半教師付きのデータ生成パイプラインは、完全なアノテーションなしで、高品質かつ多様なトレーニングペアを生成できるか？
• RQ4 モデルサイズがリアルタイム画像強調における性能および推論速度に与える影響はどの程度か？
• RQ5 提案手法は、0.5MP画像で50fps程度のリアルタイム推論を達成できるか？また、視覚的および定量的指標の両面でSOTAを上回るか？

主な発見

• 提案モデルは、0.5MP画像で約50fpsのリアルタイム推論を達成しており、既存の強調手法と比べて顕著に高速である。
• 約5,000パラメータのモデルは、提案データセット上でPSNRが22.68、SSIMが0.92を達成し、より大きなモデルおよびSOTA手法を上回る性能を示した。
• アブレーションスタディの結果、知覚的損失、構造的損失、照度に配慮した損失、およびアイデンティティ損失のすべてを含めた場合に最良の性能が得られ、PSNRは損失なしの20.26から、全損失を適用した22.68に向上した。
• 半教師付きのデータ生成パイプラインは、完全なアノテーションなしで、多様性と高品質な約82,000対の画像ペアを効果的に生成でき、効果的なトレーニングを可能にした。
• 視覚的品質において、従来のSOTA手法を上回り、色の忠実度が高く、ディテールが豊かで、コントラストが高く、アーティファクトが少ない画像を生成した。
• 失敗事例では、完全に過小露出または過大露出された領域のディテール回復に失敗しており、極端な露出条件における限界が示された。