[論文レビュー] Fully Point-wise Convolutional Neural Network for Modeling Statistical Regularities in Natural Images

Jing Zhang, Yang Cao+3 more|arXiv (Cornell University)|Jan 19, 2018

Image Enhancement Techniques参考文献 45被引用数 9

ひとこと要約

この論文は、入力画素をシャッフルすることで分布統計を保持しながら空間的構造を排除することで、自然画像内の統計的規則性をモデル化する完全なポイントワイズ畳み込みニューラルネットワーク（FPCNet）を提案する。シャッフルされた入力を用いた1×1畳み込みのみを用いることで、パラメータと計算量を10×–100×削減しつつ、色温度補正および画像除霧の分野で最先端の性能を達成または上回る。

ABSTRACT

Modeling statistical regularity plays an essential role in ill-posed image processing problems. Recently, deep learning based methods have been presented to implicitly learn statistical representation of pixel distributions in natural images and leverage it as a constraint to facilitate subsequent tasks, such as color constancy and image dehazing. However, the existing CNN architecture is prone to variability and diversity of pixel intensity within and between local regions, which may result in inaccurate statistical representation. To address this problem, this paper presents a novel fully point-wise CNN architecture for modeling statistical regularities in natural images. Specifically, we propose to randomly shuffle the pixels in the origin images and leverage the shuffled image as input to make CNN more concerned with the statistical properties. Moreover, since the pixels in the shuffled image are independent identically distributed, we can replace all the large convolution kernels in CNN with point-wise ($1*1$) convolution kernels while maintaining the representation ability. Experimental results on two applications: color constancy and image dehazing, demonstrate the superiority of our proposed network over the existing architectures, i.e., using 1/10$\sim$1/100 network parameters and computational cost while achieving comparable performance.

研究の動機と目的

• 不適切に定式化された画像処理タスクにおける自然画像の統計的規則性をモデル化する課題に対処する。
• 標準的なCNNが局所的な構造的特徴に注目し、領域内および領域間の強度変動により統計的表現の一般化に失敗するという限界を克服する。
• パフォーマンスを損なわずに、深層学習に基づく統計的モデリングにおける計算コストとモデルの複雑さを低減する。
• 画素のシャッフルによる統計的不変性を介して表現能力を維持する、軽量で効率的なアーキテクチャを開発する。

提案手法

• 入力画像の画素をシャッフルして、空間的構造を破壊しながら統計的性質を保持する画素アンサンブルを生成する。
• シャッフルされた画像をCNNの入力として使用し、ネットワークが局所的パターンではなく統計的分布に注目できるようにする。
• すべての大キーネル畳み込みを1×1（ポイントワイズ）畳み込みに置き換え、シャッフルされた画素のi.i.d.性質に裏付けられる。
• すべての畳み込み層に1×1カーネルを使用する完全なポイントワイズCNNアーキテクチャ（FPCNet）を構築し、パラメータとFLOPsを顕著に削減する。
• マックスプーリングと活性化マップを活用して、除霧における透過率マップなど、学習された統計的規則性を抽出および可視化する。
• 標準的な損失関数を用いて、色温度補正および画像除霧などの下流タスクに対してエンドツーエンドでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 画素のシャッフルは、分布学習から逸脱する要因となる空間的構造を除去しながら、自然画像の統計的規則性を保持できるか？
• RQ2 1×1畳み込みのみを用いる完全なポイントワイズCNNアーキテクチャは、表現能力を維持できるか？
• RQ3 FPCNetは、統計的画像処理タスクにおけるパフォーマンスを損なわずに、どの程度モデルの複雑さと推論コストを低減できるか？
• RQ4 FPCNetが学習する統計的表現は、実世界および合成データにおいて、先行手法と比較して精度および頑健性の点で優れているか？

主な発見

• FPCNetは、除霧分野における最先端手法（DehazeNetやAODNet）と同等の性能を達成しており、パラメータは3.5%、計算コストは2.62%にまで削減されている。
• 合成の霞の画像において、FPCNet-DHはPSNR 21.17、SSIM 0.8733を達成し、DCP（PSNR: 20.16、SSIM: 0.8611）およびDehazeNet（PSNR: 20.29、SSIM: 0.8680）を上回っている。
• 実際の霞の画像における透過率マップの予測のMSEは、FPCNet-DHで1.17×10⁻²、DehazeNetで1.20×10⁻²、DCPで2.41×10⁻²であった。
• FPCNetは1枚の640×480画像を3msで処理でき、DehazeNet（466ms）およびAODNet（4.3ms）に比べて顕著に高速であり、高い推論効率を示している。
• 視覚的検証では、FPCNetがより効果的な統計的規則性を学習していることが示され、最小チャネル値の累積分布が急勾配となっており、重要な画素のより良いサンプリングを示している。
• プーリング応答の重み付きヒストограмを可視化した結果、FPCNetの学習済み表現は低値に強く集中しており、霧透過の物理的事前知識と整合的である。