[論文レビュー] Learning-Based Dequantization For Image Restoration Against Extremely Poor Illumination

Chang Liu, Xiaolin Wu+1 more|arXiv (Cornell University)|Mar 5, 2018

Image Enhancement Techniques参考文献 3被引用数 10

ひとこと要約

本論文は、極端に暗い照明条件下でのA/D量子化損失により細部が消失する画像の復元を目的とした学習ベースのデキュアンタイゼーション手法を提案する。アルゴリズム的露出補償と合成データで訓練された深層畳み込みニューラルネットワーク（DCNN）を組み合わせることで、従来手法が復元できないピクセルレベルの細部を回復し、合成および実世界の低照度画像において最先端の技術を著しく上回る性能を発揮する。

ABSTRACT

All existing image enhancement methods, such as HDR tone mapping, cannot recover A/D quantization losses due to insufficient or excessive lighting, (underflow and overflow problems). The loss of image details due to A/D quantization is complete and it cannot be recovered by traditional image processing methods, but the modern data-driven machine learning approach offers a much needed cure to the problem. In this work we propose a novel approach to restore and enhance images acquired in low and uneven lighting. First, the ill illumination is algorithmically compensated by emulating the effects of artificial supplementary lighting. Then a DCNN trained using only synthetic data recovers the missing detail caused by quantization.

研究の動機と目的

• 極めて暗い照明条件下でのA/D量子化に起因する画像細部の不可逆的損失という重要な問題に取り組むこと。この状況では従来の画像強調処理は機能しない。
• 低ダイナミックレンジ信号におけるA/D変換時に消失したピクセルレベルの細部を回復できるデータ駆動型アプローチを開発すること。
• 露出制御やトーンマッピングが不十分となる、悪く不均一な照明状況でも効果的な画像復元を可能にすること。
• 広く利用可能なJPEG画像を活用して、教師付き深層学習に適したリアルな低照度合成データを生成するスケーラブルなトレーニングパイプラインを構築すること。

提案手法

• まず、物理的画像形成モデルを用いてアルゴリズム的露出補償を実行し、人工的照明を模倣し、ダイナミックレンジを拡張する。
• 高ダイナミックレンジの潜在画像を制御されたA/D量子化によって劣化させることで、実世界の低照度アーティファクトを再現する合成低照度トレーニングデータを生成する。
• 深層畳み込みニューラルネットワーク（DCNN）を、量子化された低照度画像から損失したピクセルレベルの細部を復元するように訓練する。
• トレーニングデータ生成プロセスは、標準JPEG画像を入力として受け入れるように設計されており、多様な現実世界の画像データに容易にアクセスできる。
• DCNNは、デキュアンタイズド出力と真値の潜在画像との間の再構成誤差を最小化することで、高解像度で詳細豊かな出力を予測するように学習する。
• エンドツーエンドのディープラーニングにより、局所的露出補償と非線形デキュアンタイゼーションを統合し、最終的な出力として視覚的に洗練され、高忠実度の画像が得られる。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、極めて暗い照明条件下でのA/D量子化に起因する画像細部の回復を効果的に実行できるか？
• RQ2 標準JPEG画像から生成された合成トレーニングデータは、実世界の低照度画像復元にどの程度一般化可能か？
• RQ3 アルゴリズム的露出補償と深層デキュアンタイゼーションの組み合わせは、CLAHE、OCTM、LIME、SRIEといった従来の強調処理手法をどの程度上回るか？
• RQ4 本手法は、従来手法が失敗する実写写真においても、顔貌特徴やナンバープレートといった細部を回復できるか？
• RQ5 本手法のデキュアンタイズーションネットワークは、トレーニングに使用されていないHDR画像から導出された未観測の低照度条件に対しても頑健か？

主な発見

• 本手法は、合成されたグローバルおよびローカル低照度画像において、CLAHE、OCTM、LIME、SRIEを著しく上回り、最小限のアーティファクトで細部を回復する。
• 実写写真においては、顔貌の細部やナンバープレートを効果的に回復するが、他の手法はブロックアーティファクトを発生させたり、過剰に強調しすぎたりする。
• デキュアンタイズーションネットワークは、トレーニングデータに含まれないHDR画像から導出された低照度画像に対しても良好に一般化する。
• 視覚的比較では、唯一本手法が量子化アーティファクトを低減し、特に空や道路のような滑らかな領域で局所コントラストを保持している。
• アルゴリズム的露出補償ステップにより信号強度とダイナミックレンジが効果的に向上し、その後続のディープラーニングベースのデキュアンタイゼーションが損失情報を回復可能になる。
• 定量的および定性的な両評価において、本手法は物理モデリングとディープラーニングを統合する有効性を示しており、画像復元分野において優れた性能を発揮する。