[論文レビュー] MSR-net:Low-light Image Enhancement Using Deep Convolutional Network

Liang Shen, Zihan Yue+4 more|arXiv (Cornell University)|Nov 7, 2017

Image Enhancement Techniques参考文献 2被引用数 256

ひとこと要約

MSR-net は、マルチスケール Retinex を CNN と統合して暗い画像を明るいものへ写像することで、監督付きエンドツーエンド学習問題として低照度画像強化を定式化します。モデルはバックプロパゲーションによって学習し、合成データおよび実世界データのいくつかの最新手法を上回っています。

ABSTRACT

Images captured in low-light conditions usually suffer from very low contrast, which increases the difficulty of subsequent computer vision tasks in a great extent. In this paper, a low-light image enhancement model based on convolutional neural network and Retinex theory is proposed. Firstly, we show that multi-scale Retinex is equivalent to a feedforward convolutional neural network with different Gaussian convolution kernels. Motivated by this fact, we consider a Convolutional Neural Network(MSR-net) that directly learns an end-to-end mapping between dark and bright images. Different fundamentally from existing approaches, low-light image enhancement in this paper is regarded as a machine learning problem. In this model, most of the parameters are optimized by back-propagation, while the parameters of traditional models depend on the artificial setting. Experiments on a number of challenging images reveal the advantages of our method in comparison with other state-of-the-art methods from the qualitative and quantitative perspective.

研究の動機と目的

• Retinex 理論を活用した低照度画像を強化するための学習ベースのアプローチを動機付け、開発する。
• マルチスケール Retinex をCNNとして表現できるようにし、エンドツーエンド学習を可能にする。
• 最小限の前処理/後処理で暗い画像を明るい画像へ直接写像する MSR-net を開発する。
• 合成データと実世界データで他の最先端手法と比較してこの手法を評価する。
• パラメータ感度と実行時性能を分析する。

提案手法

• マルチスケール Retinex が複数のガウス様周囲を持つCNNに対応することを実証する。
• 三つの構成要素を備える MSR-net を提案する: Multi-scale Logarithmic Transformation、Difference-of-convolution、および Color Restoration Function。
• MSR-net を用いた多スケール対数変換を n=4 スケール (v in {1,10,100,300}) で実装し、出力を連結して 1x1 および小さな畳み込みを適用して特徴を統合する。
• センター/周囲の差を模擬するためにマルチスケール畳み込みを集約し、平滑化のための 1x1 畳み込みを用いて Difference-of-convolution を実装する。
• Color Restoration Function を 1x1 畳み込みで再現し最終的な強化画像を得る。
• Frobenius ノルムの損失と重み正則化を用いたエンドツーエンドでの学習、バックプロパゲーションによって全ネットワークパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 CNN ベースのモデルをエンドツーエンドで訓練して、従来の Retinex ベースやヒストグラムベースの低照度強化法を上回ることができるか？
• RQ2 マルチスケール Retinex を CNN 層として表現することは、強調画像の自然さや質感のディテールを改善するか？
• RQ3 ネットワークの深さとマルチスケール対数変換の影響は強化品質にどう影響するか？
• RQ4 合成データと実世界データセットにおける MSR-net の知覚品質と品質指標への影響はどのようか？
• RQ5 実世界の低照度画像において、後処理（デノイジングなど）を組み合わせた場合の効果はどうか？

主な発見

• MSR-net は 2,000 の合成テスト画像に対して、いくつかの競合手法よりも SSIM が高く、 NIQE が低い。
• 実世界の画像では、MSR-net がより明るく自然な結果をもたらし、暗部の質感とディテールの保持が改善される。
• 角度誤差測定はカラー一致性の改善を示し、比較した手法の中で MSR-net が最も低い角度誤差を達成した。
• MSR-net は複数の実世界データセットで Discrete Entropy/NIQE において競争力を維持または優位。
• GPU ベースの推論は非深層法に比べて処理を大幅に高速化し、CPU 実行よりも著しく有利な利得を得た。
• デノising 後処理ステップ（BM3D）は実世界の低照度画像の視覚品質をさらに改善できる。