[論文レビュー] Towards Fast and Light-Weight Restoration of Dark Images

Mohit Lamba, Atul Balaji+1 more|arXiv (Cornell University)|Nov 28, 2020

Image Enhancement Techniques参考文献 24被引用数 15

ひとこと要約

本稿では、極めて暗い高解像度画像のリアルタイム強化を実現する高速で軽量な深層学習アーキテクチャ、LLPackNetを提案する。新しいパックおよびアンパック操作を用いて、主に低解像度空間で計算を実行することで、最先端の手法と比較してモデルパラメータを2–7倍、メモリ使用量を2–3倍、推論時間を5–20倍削減する。2848×4256解像度の画像に対しCPU上で約3秒で処理が可能であり、近似的にリアルタイム性能を達成する一方で、競争力のある再構成品質を維持する。

ABSTRACT

The ability to capture good quality images in the dark and near-zero lux conditions has been a long-standing pursuit of the computer vision community. The seminal work by Chen et al. [5] has especially caused renewed interest in this area, resulting in methods that build on top of their work in a bid to improve the reconstruction. However, for practical utility and deployment of low-light enhancement algorithms on edge devices such as embedded systems, surveillance cameras, autonomous robots and smartphones, the solution must respect additional constraints such as limited GPU memory and processing power. With this in mind, we propose a deep neural network architecture that aims to strike a balance between the network latency, memory utilization, model parameters, and reconstruction quality. The key idea is to forbid computations in the High-Resolution (HR) space and limit them to a Low-Resolution (LR) space. However, doing the bulk of computations in the LR space causes artifacts in the restored image. We thus propose Pack and UnPack operations, which allow us to effectively transit between the HR and LR spaces without incurring much artifacts in the restored image. We show that we can enhance a full resolution, 2848 x 4256, extremely dark single-image in the ballpark of 3 seconds even on a CPU. We achieve this with 2 - 7x fewer model parameters, 2 - 3x lower memory utilization, 5 - 20x speed up and yet maintain a competitive image reconstruction quality compared to the state-of-the-art algorithms.

研究の動機と目的

• エッジデバイスにおける極めて暗く高解像度の画像のリアルタイムかつ低リソースな強化の課題に対処すること。
• 高GPUメモリと処理能力を必要とする従来の手法の制限を克服すること。
• モデルサイズ、遅延、メモリフットプリントを最小限に抑えつつ、高い再構成品質を維持するネットワークを設計すること。
• 推論時に教師データに依存せずに、自動的に増幅係数を推定する自己完結型メカニズムを開発すること。
• 計算リソースが限られた組み込みシステム、スマートフォン、監視カメラなどに、低照度強化の実用的導入を可能にすること。

提案手法

• 空間ピクセルをチャネル次元に再配置することで、α倍のダウンサンプリングを実現する新規なパック操作を提案し、情報の保持を図り、大規模なダウンサンプリングを可能にする。
• 逆コンボリューションや補間の代替手段として、学習可能な高速アップサンプリング手法としてアンパック操作を導入し、低解像度特徴からの効率的再構成を実現する。
• すべての主要なネットワーク計算を低解像度空間に制限することで、計算コストとメモリ使用量を大幅に削減する。
• 入力に適応する軽量な増幅メカニズムを統合し、入力から直接最適な画像増幅係数を推定することで、推論時に教師データに依存しない。
• パック操作がもたらす大きな受容 field を活用したマルチスケール特徴統合戦略を採用し、詳細回復を強化する。
• 標準的なアップサンプリングレイヤー（例：逆コンボリューション）をアンパックに置き換えることで、パrameter数を削減し、推論を高速化する。

実験結果

リサーチクエスチョン

• RQ1 CPU やリソース制限のあるエッジデバイスで、限られたメモリと処理能力のもとで、高品質な暗い画像復元を実現できる深層ニューラルネットワークは構築可能か？
• RQ2 顕著な情報損失を伴わずに、大規模なダウンサンプリングを実現し、低解像度特徴空間での効率的計算を可能にする方法は何か？
• RQ3 アーチファクトと計算コストを最小限に抑えながら、特徴を高解像度に戻す最も効果的で効率的な方法は何か？
• RQ4 推論時に教師データを必要とせず、入力画像から増幅係数を自動的に推定することは可能か？
• RQ5 従来のダウンサンプリングおよびアップサンプリング手法と比較して、提案手法のパック/アンパック機構は、速度、メモリ使用量、再構成品質の面でどのように優れているか？

主な発見

• LLPackNetは、CPU上で2848×4256の極めて暗い画像を約3秒で強化でき、既存手法と比較して顕著に高速である。
• 最先端のアプローチと比較して、モデルパラメータを2–7倍、メモリ使用量を2–3倍削減した。
• SOTAネットワークと比較して推論速度が5–20倍向上し、アンパック操作は逆コンボリューションよりも3–4倍高速である。
• パック/アンパック操作は、最大プーリング、ストライド付き畳み込み、補間手法と比較して、大規模なダウンサンプリングおよびアップサンプリングにおいて優れた特徴保持と再構成品質を達成した。
• 自動増幅メカニズムにより、教師データなしで未知のシーンに対しても頑健な性能を発揮した。
• 定性的な結果から、LLPackNet-4×はLLPackNet-8×よりも優れた色再現性とぼやけの低減を示しており、適応的ダウンサンプリング係数の利点を裏付けた。