[論文レビュー] Basis Prediction Networks for Effective Burst Denoising with Large Kernels

Zhihao Xia, Federico Perazzi+3 more|arXiv (Cornell University)|Dec 9, 2019

Image and Signal Denoising Methods参考文献 40被引用数 7

ひとこと要約

本稿では、画像バーストのノイズ除去のためのBasis Prediction Networks (BPNs) を提案する。BPNs は、各画素ごとのノイズ除去カーネルを、共有のグローバルな基本カーネル集合と画素ごとの係数の線形結合として表現することで、出力次元を低減し、大規模なカーネルを用いた効率的で高品質なノイズ除去を可能にする。本手法は、最先端のカーネル予測ネットワーク (KPNs) よりも1 dB 以上のPSNR向上を達成し、推論速度も速く、画像バーストにおける空間的・時間的自己同一性を活用している。

ABSTRACT

Bursts of images exhibit significant self-similarity across both time and space. This motivates a representation of the kernels as linear combinations of a small set of basis elements. To this end, we introduce a novel basis prediction network that, given an input burst, predicts a set of global basis kernels -- shared within the image -- and the corresponding mixing coefficients -- which are specific to individual pixels. Compared to state-of-the-art techniques that output a large tensor of per-pixel spatiotemporal kernels, our formulation substantially reduces the dimensionality of the network output. This allows us to effectively exploit comparatively larger denoising kernels, achieving both significant quality improvements (over 1dB PSNR) and faster run-times over state-of-the-art methods.

研究の動機と目的

• バーストノイズ除去に用いる高次元の画素ごとのカーネルを生成するカーネル予測ネットワーク (KPNs) が引き起こす高メモリおよび高計算コストを軽減すること。
• 画像バーストに強い自己同一性（空間的および時間的）を活用して、カーネル表現の複雑さを低減すること。
• ノイズ抑制の向上を図るために、より大きなノイズ除去カーネルの使用を可能にしつつ、効率性と学習安定性を維持すること。
• 性能を損なわずに、ノイズ除去ネットワークの出力次元を低減する手法を開発すること。
• 構造的なカーネル出力により、フーリエドメインでのフィルタリングを可能にすることで、推論速度とメモリ効率を向上させること。

提案手法

• 本手法は、グローバルな基本セット（サイズB）と、各画素ごとの長さBの係数ベクトルを同時に予測する Basis Prediction Networks (BPNs) を導入する。
• 各画素におけるノイズ除去カーネルは、予測された画素ごとの係数で重み付けされたグローバル基本カーネルの線形結合として再構成される。
• 基本カーネルと係数のヘッドは、入力バーストを処理してこれらの2つの出力を生成する深層ニューラルネットワークとして実装される。
• 予測されたカーネルの低ランク構造を活用することで、最終的なノイズ除去処理をフーリエドメインで効率的に実行する。
• 予測されたノイズ除去画像と真値画像の画素単位L2損失を用いて、エンドツーエンドでネットワークを訓練する。
• カラー画像のノイズ除去のため、基本関数を色チャネルに拡張し、3K²T×B の基本行列と、画素ごとの別個の係数ベクトルを生成する。

実験結果

リサーチクエスチョン

• RQ1 画素ごとのノイズ除去カーネルの低次元ベース表現は、画像バーストにおける空間的・時間的構造を効果的に捉えることができるか？
• RQ2 カーネル予測ネットワークの出力次元を低減することで、学習安定性と推論効率が向上し、ノイズ除去品質に悪影響を及げないか？
• RQ3 カーネル出力を低次元部分空間に制限した場合でも、大きなカーネルをバーストノイズ除去に効果的に使用できるか？
• RQ4 提案されたベースに基づくカーネル表現は、標準的な KPN と比較して、PSNR、FLOPs、実行時間の観点でどのように異なるか？
• RQ5 本手法は、効率性と性能向上を維持したまま、カラー画像のノイズ除去に一般化可能か？

主な発見

• 提案された BPN 法は、グレースケールおよびカラーのテストセットの全ノイズレベルで、最先端の KPN よりも1 dB 以上のPSNR向上を達成した。
• 1024×768 の画像において、最適化されたフーリエドメインフィルタリングと優れたキャッシュ利用効率のおかげで、BPN は KPN や分離可能 KPN よりも高速に動作した。
• 予測されたカーネルの低ランク構造を活用することで、カーネルフィルタリングに必要なFLOPsを削減した。
• 予測されたカーネルの可視化結果から、KPN がしばしば一部のフレームに偏るのに対し、BPN ではフレーム全体にわたってより均等に分布しており、動きのパターンと整合していることがわかった。
• 画素ごとの係数のクラスタリングにより、水平方向および垂直方向のエッジといった意味的な空間的構造が明確に現れ、本手法が意味的に意味のある表現を学習していることが確認された。
• 本手法はカラー画像バーストノイズ除去に対しても良好に一般化され、全ノイズレベルでKPN よりも1 dB 以上のPSNR向上を維持した。