[論文レビュー] Image Reconstruction Using Deep Learning

Po‐Yu Liu, Edmund Y. Lam|arXiv (Cornell University)|Sep 27, 2018

Medical Imaging and Analysis被引用数 9

ひとこと要約

本論文は、低照度画像におけるポアソンノイズに特に最適化された、畳み込み層とデコングolution層を組み合わせたハイブリッドアーキテクチャに、対称的なスキップ接続を組み合わせた深層学習ベースの画像ノイズ除去ネットワークを提案する。統計的に有意な改善が達成されており、ピーク信号値が4、2、1のそれぞれにおいて、従来手法よりも平均PSNRが0.38 dB、0.68 dB、1.04 dB向上している。また、ストライドチューニングにより計算時間も短縮されている。

ABSTRACT

This paper proposes a deep learning architecture that attains statistically significant improvements over traditional algorithms in Poisson image denoising espically when the noise is strong. Poisson noise commonly occurs in low-light and photon- limited settings, where the noise can be most accurately modeled by the Poission distribution. Poisson noise traditionally prevails only in specific fields such as astronomical imaging. However, with the booming market of surveillance cameras, which commonly operate in low-light environments, or mobile phones, which produce noisy night scene pictures due to lower-grade sensors, the necessity for an advanced Poisson image denoising algorithm has increased. Deep learning has achieved amazing breakthroughs in other imaging problems, such image segmentation and recognition, and this paper proposes a deep learning denoising network that outperforms traditional algorithms in Poisson denoising especially when the noise is strong. The architecture incorporates a hybrid of convolutional and deconvolutional layers along with symmetric connections. The denoising network achieved statistically significant 0.38dB, 0.68dB, and 1.04dB average PSNR gains over benchmark traditional algorithms in experiments with image peak values 4, 2, and 1. The denoising network can also operate with shorter computational time while still outperforming the benchmark algorithm by tuning the reconstruction stride sizes.

研究の動機と目的

• 監視カメラやスマートフォンカメラなど、低照度画像処理応用分野における効果的なポアソンノイズ除去の需要が高まっているのに対応すること。
• 特に光子制限環境下で強いポアソンノイズに苦しむ従来のノイズ除去アルゴリズムの限界を改善すること。
• 他のビジョンタスクにおける深層学習の成功を活用し、ポアソン分布に従うノイズに対してより強固で効率的なノイズ除去ソリューションを開発すること。
• ベンチマーク手法と比較して、より高いピーク信号対ノイズ比（PSNR）とより速い推論時間の両方を達成すること。

提案手法

• 提案されたアーキテクチャは、畳み込み層とデコングolution層を組み合わせ、階層的な特徴を学習し、ノイズの多い入力から高品質な画像を再構成する。
• 空間的な詳細を保持し、ネットワーク全体での特徴の伝搬を強化するために、対称的なスキップ接続が組み込まれている。
• ポアソンノイズ条件下での予測値と真値の画像差分を最小化する損失関数を用いて、エンドツーエンドでネットワークを訓練する。
• 再構成ストライドサイズをチューニングすることで、計算効率とノイズ除去性能のバランスを図り、精度を損なわず推論速度を向上させている。
• 光子数が少なく、ノイズがポアソン分布に従う低照度画像処理シナリオに特に特化して設計されている。

実験結果

リサーチクエスチョン

• RQ1 強いノイズ条件下でも、深層学習ベースのアーキテクチャが従来手法を上回ることができるか？
• RQ2 対称的なスキップ接続とハイブリッド畳み込み-デコングolution設計の統合が、ノイズ除去性能にどのように影響するか？
• RQ3 再構成ストライドサイズのチューニングによって、画像品質を劣化させずに計算効率をどの程度向上できるか？
• RQ4 特にピーク値が低い場合においても、提案手法は優れた性能を維持するか？

主な発見

• 提案された深層学習ベースのノイズ除去ネットワークは、ピーク信号値が4の場合、従来手法よりも平均PSNRで0.38 dBの向上を達成した。
• ピーク値が2の場合、平均PSNRは0.68 dB向上し、強いノイズ下でも性能が向上していることが示された。
• ピーク値が1の場合、平均PSNRは1.04 dB向上し、極めて低照度条件下でも顕著な優位性を示した。
• 最適化された再構成ストライドチューニングにより計算時間を短縮しながらも、ベンチマーク手法よりも高い精度を維持した。