[論文レビュー] Convolutional Neural Pyramid for Image Processing

Xiaoyong Shen, Ying-Cong Chen+2 more|arXiv (Cornell University)|Apr 7, 2017

Image Enhancement Techniques参考文献 37被引用数 31

ひとこと要約

本稿では、計算コストを増加させることなく低レベル画像処理タスクにおける大きな受容 field を実現するための畳み込みニューラルピラミッド（CNP）フレームワークを提案する。階層的・マルチスケールのピラミッド構造とアダプティブな深さ制御、段階的アップサンプリングを用いることで、CNPは計算コストを最小限に抑えながらもグローバルな文脈を効率的に捉え、画像修復、補完、ノイズ除去、フィルタリングなどのタスクで最先端の性能を達成し、リアルタイム推論速度を実現する。

ABSTRACT

We propose a principled convolutional neural pyramid (CNP) framework for general low-level vision and image processing tasks. It is based on the essential finding that many applications require large receptive fields for structure understanding. But corresponding neural networks for regression either stack many layers or apply large kernels to achieve it, which is computationally very costly. Our pyramid structure can greatly enlarge the field while not sacrificing computation efficiency. Extra benefit includes adaptive network depth and progressive upsampling for quasi-realtime testing on VGA-size input. Our method profits a broad set of applications, such as depth/RGB image restoration, completion, noise/artifact removal, edge refinement, image filtering, image enhancement and colorization.

研究の動機と目的

• 計算コストを犠牲にせずに低レベルビジョンタスクにおける大きな受容 field を達成する課題に対処すること。
• 画像補完や修復に不可欠なグローバル文脈理解を回帰ベースの画像処理ネットワークに可能にする。
• プーリングを用いない深層ネットワークにおいて、マルチスケール特徴を効果的に統合すること。
• ノイズ除去、強調、色分け、フィルタリングを含む多様な応用をサポートする汎用フレームワークを設計すること。
• アダプティブなネットワーク深さと段階的アップサンプリングにより、VGAサイズの入力に対して準リアルタイム推論を実現すること。

提案手法

• CNPフレームワークは二重ストリームアーキテクチャを採用：一方のストリームはピラミッドレベルを横断して特徴を処理し、受容 field を拡大する。もう一方のストリームは各レベルで特徴を抽出・統合する。
• 特徴が段階的にアップサンプリングされ、マージされる、段階的で階層的な構造を採用。これにより、最小限の計算オーバーヘッドで大きな有効受容 field を実現。
• 学習可能なフィルタを備えた標準的な畳み込み層を用い、各パスの深さは特徴の複雑さに応じてアダプティブに制御される。
• スキップ接続と連結を用いてスケール間で特徴を統合。初期層からの細粒度のディテールを保持。
• 画像修復、補完、フィルタリングなどの回帰タスクにエンドツーエンドで訓練。教師あり損失関数を用いる。
• 段階的アップサンプリングと効率的な推論スケジューリングによりテストを最適化。QVGA入力で28 FPS、VGA入力で9 FPSを達成。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、高い計算コストを伴わずに、低レベルビジョンタスクにおける非常に大きな受容 field を達成できるか？
• RQ2 分類ネットワークで一般的に用いられるプーリング層を用いずに、マルチスケール特徴を効果的に統合する方法は何か？
• RQ3 単一の統一アーキテクチャが、修復、補完、ノイズ除去などの多様な画像処理タスクに一般化可能か？
• RQ4 大きな受容 field は、画像補完や色分けのようなグローバル最適化ベースのタスクにおいて、どの程度性能を向上させるか？
• RQ5 低レベルビジョン応用で最先端の性能を達成しつつ、高い推論速度を維持することは可能か？

主な発見

• CNPフレームワークは、従来の手法よりも顕著に低い計算コストで最大143×143ピクセルの受容 field を実現し、グローバル文脈モデリングを可能にする。
• NYU Depth V2データセットでは、PSNRが39.42を達成。先行研究のLuら（34.53）およびMutual-Structure（33.97）を上回る。
• ポートレートデータセットにおける画像補完では、PSNRが41.21を達成。正規化畳み込み（16.05）、CNNベース補完（30.52）、PatchMatch（24.81）を上回る。
• 画像フィルタリングの学習では、PSNRがWLSで39.6、RGFで42.6、WMFで39.3を達成。[46]を上回り、[27]と同等または上回り、31%の高速化を実現。
• Nvidia Titan XでVGAサイズの画像を1秒間に9フレーム処理し、多様な応用において準リアルタイム性能を示す。
• 視覚的比較では、CNPの結果は特にテクスチャや境界の保持において、ベースラインより鮮明で詳細性に優れている。