[論文レビュー] Lightweight Pyramid Networks for Image Deraining

Xueyang Fu, Borong Liang+3 more|arXiv (Cornell University)|May 16, 2018

Image Enhancement Techniques参考文献 38被引用数 10

ひとこと要約

本稿では、ガウス・ラプラシアン画像ピラミッドを用いてタスクをより単純な部分問題に分解することで、パrameter効率の高い深層学習フレームワークであるLightweight Pyramid Networks（LPNet）を提案する。各ピラミッドレベルに浅い、残差型、再帰的なサブネットワークを適用することにより、8,000未満のパrameterで最先端のデレインニング性能を達成し、リソース制約のあるデバイスへの効率的なデプロイが可能となる。また、他の低レベルビジョンタスクへの一般化性も示している。

ABSTRACT

Existing deep convolutional neural networks have found major success in image deraining, but at the expense of an enormous number of parameters. This limits their potential application, for example in mobile devices. In this paper, we propose a lightweight pyramid of networks (LPNet) for single image deraining. Instead of designing a complex network structures, we use domain-specific knowledge to simplify the learning process. Specifically, we find that by introducing the mature Gaussian-Laplacian image pyramid decomposition technology to the neural network, the learning problem at each pyramid level is greatly simplified and can be handled by a relatively shallow network with few parameters. We adopt recursive and residual network structures to build the proposed LPNet, which has less than 8K parameters while still achieving state-of-the-art performance on rain removal. We also discuss the potential value of LPNet for other low- and high-level vision tasks.

研究の動機と目的

• 高いパラメータ数のため、モバイルおよびエッジデバイスに深層ニューラルネットワークをデプロイする課題に対処すること。
• ドメイン固有の画像ピラミッド分解を活用して、各スケールでの学習を単純化することで、単一画像のデレインニングの複雑さを低減すること。
• モデルサイズと推論コストを大幅に削減しながらも、高いデレインニング性能を維持する軽量なネットワークアーキテクチャを設計すること。
• 提案されたアーキテクチャの他の低レベルビジョンタスク（例：ノイズ除去やアーティファクト低減）への一般化可能性を調査すること。
• デレインニングを事前処理ステップとして統合し、雨天下でのオブジェクト検出などの上流の高レベルビジョンタスクの性能向上を図ること。

提案手法

• 雨の画像をガウス・ラプラシアンピラミッド分解によりマルチスケール成分に分割し、各レベルでの学習タスクを単純化する。
• 層間でパラメータを共有する再帰的ブロックを備えた軽量な残差ネットワークを用い、合計パラメータ数を最小限に抑える。
• 各サブネットワークを対応するピラミッドレベルで独立して学習させ、クリーンなガウスピラミッド層を予測する。
• 全ピラミッドレベルからの予測済みクリーン層をマージすることで、最終的なデレイン化画像を再構築する。
• 構造的詳細の保持と過剰に滑らかになるのを防ぐために、SSIMとℓ₁損失を組み合わせたハイブリッド損失関数を採用する。
• トレーニング中の勾配の流れと特徴の伝搬を向上させるために、各サブネットワークにスキップ接続を統合する。

実験結果

リサーチクエスチョン

• RQ1 ガウス・ラプラシアンピラミッド分解は、単一画像のデレインニングにおける学習問題を顕著に単純化できるか？
• RQ2 8,000パラメータ未満の軽量で浅いネットワークが、どれほど最先端のデレインニング性能を達成できるか？
• RQ3 提案されたLPNetアーキテクチャは、画像ノイズ除去やJPEGアーティファクト低減などの他の低レベルビジョンタスクにどれほど一般化できるか？
• RQ4 LPNetは、雨天環境下でのオブジェクト検出のような上流の高レベルビジョンシステムの性能を向上させることができるか？
• RQ5 SSIMとℓ₁損失を組み合わせることで、デレインニング結果の視覚的品質と構造的保持性にどのような影響を与えるか？

主な発見

• LPNetはたった7,548パラメータで単一画像のデレインニングにおいて最先端の性能を達成し、既存の深層ネットワークと比べて顕著に少ない。
• 非常に小さなモデルサイズを維持しながらも、高品質なデレインニング結果を達成しており、モバイルおよび組み込みデバイスへのデプロイに適している。
• スキップ接続の使用によりトレーニング損失が低下し、収束が加速することが、トレーニング曲線の比較で示された。
• ハイブリッド損失関数（SSIM + ℓ₁）は、ℓ₂ベースの損失と比較して、エッジやテクスチャのより良い保持を実現するシャープな結果を生み出している。
• LPNetは他の画像修復タスクに対しても良好に一般化し、画像ノイズ除去およびJPEGアーティファクト低減において強力な性能を示している。
• Faster R-CNNと統合した場合、雨天下でのオブジェクト検出精度が向上し、1024×1024の画像に対して推論時間はわずか0.3秒増加にとどまる。