[論文レビュー] Neural Sparse Representation for Image Restoration

Yuchen Fan, Jiahui Yu+5 more|arXiv (Cornell University)|Jun 8, 2020

Advanced Image Processing Techniques参考文献 21被引用数 9

ひとこと要約

本稿では、隠れニューロンのチャネルをグループ化し、学習可能なサイドネットワークを介して一度に1つのグループのみを活性化することで、深層畳み込みネットワークの隠れニューロンに構造的なスパarsityを強制する、Neural Sparse Representation (NSR) を提案する。この手法により、顕著な計算コストの削減が達成され、わずかなオーバーヘッドでモデル容量が向上し、精度を損なわず、画像超解像、ノイズ除去、圧縮アーチファクト除去のあらゆるタスクで性能が向上する。

ABSTRACT

Inspired by the robustness and efficiency of sparse representation in sparse coding based image restoration models, we investigate the sparsity of neurons in deep networks. Our method structurally enforces sparsity constraints upon hidden neurons. The sparsity constraints are favorable for gradient-based learning algorithms and attachable to convolution layers in various networks. Sparsity in neurons enables computation saving by only operating on non-zero components without hurting accuracy. Meanwhile, our method can magnify representation dimensionality and model capacity with negligible additional computation cost. Experiments show that sparse representation is crucial in deep neural networks for multiple image restoration tasks, including image super-resolution, image denoising, and image compression artifacts removal. Code is available at https://github.com/ychfan/nsr

研究の動機と目的

• 深層ニューラルネットワークの隠れ表現における意味のあるスパarsityを達成する課題に対処すること。
• ニューロンスパarsityを用いて計算コストを低減しつつ、高次元表現能力を維持すること。
• 標準的な畳み込み層にスパarsity制約を統合できる微分可能でエンドツーエンドでトレーナブルなモジュールを開発すること。
• 隠れニューロンにおける構造的スパarsityが、複数の画像修復タスクにおけるモデル効率性と性能を顕著に向上させることを実証すること。

提案手法

• 隠れ特徴マップをチャネルグループに分割し、ソフトで微分可能な選択メカニズムを用いて、一度に1つのグループのみを活性化することでスパarsityを強制する。
• コンテキスト特徴に基づいてどのニューロングループを活性化すべきかを予測する小さなサイドネットワークを用い、スパarsityを適応的に行う。
• ハードスパarsity選択を、複数の畳み込みカーネルのスパース線形結合によるソフトで微分可能な近似に緩和する。
• スパarsity予測を部分問題に分解するために、カーディナリティ次元を導入し、トレーニングの安定性とスケーラビリティを向上させる。
• EDSR や残差ネットワークを含むさまざまなアーキテクチャにおいて、標準的な畳み込み層のプラグイン代替として NSR モジュールを埋め込む。
• 推論時に非ゼロのニューロングループのみを処理することで、計算量を削減しつつ、高い表現次元性を維持する。

実験結果

リサーチクエスチョン

• RQ1 隠れニューロンにおける構造的スパarsityは、深層学習ベースの画像修復における性能と効率性を向上させ得るか？
• RQ2 フィードフォワード深層ネットワーク内において、スパarsityを微分可能でトレーナブルな方法で強制できるか？
• RQ3 隠れ表現におけるスパarsityは、最小限の計算オーバーヘッドで高いモデル容量を実現できるか？
• RQ4 提案手法は、FLOPsを削減しつつ、画像超解像、ノイズ除去、圧縮アーチファクト除去の分野で既存モデルを上回る性能を示せるか？
• RQ5 スパarsityは、深層ネットワークにおける表現次元性とモデル正確性にどのような影響を与えるか？

主な発見

• 提案された NSR モジュールは、ベースラインモデルと比較して、わずかな追加計算コストで4倍のモデル容量を達成した。
• EDSR(S) アーキテクチャにおいて、4つのスパarsityグループと16のカーディナリティを有する sparse+ モデルは、すべてのベンチマークでベースラインを上回ったが、パrameter数は4倍であった。
• 大規模な EDSR(L) モデルでは、sparse- バージョンはベースラインと同等の正確性を維持しながら、FLOPsを4倍削減したが、モデルのサイズは同じであった。
• ノイズ除去タスクでは、sparse+ モデルはモデル容量を2倍にし、ベースラインよりPSNRを0.08 dB向上させながら、計算量を2倍削減した。
• 圧縮アーチファクト除去では、sparse- モデルは DnCNN や ARCNN よりも高いPSNRを達成し、FLOPsを45%削減した。これは、優れた効率性を示している。
• 可視化により、NSR モジュールがタスク全体にわたり表現学習を強化する意味的で構造的なスパarsityパターンを学習していることが確認された。