[論文レビュー] Learning Deformable Kernels for Image and Video Denoising

Xiangyu Xu, Muchen Li+1 more|arXiv (Cornell University)|Apr 15, 2019

Image and Signal Denoising Methods参考文献 30被引用数 37

ひとこと要約

本論文は、CNN を通じて学習される可変形の 2D および 3D カーネルを提案し、画像と動画のノイズ除去のために画素のサンプリングとウェイティングを明示的に実行する。構造の扱い、ミスアライメント、そして大きな動きの改善を図る。

ABSTRACT

Most of the classical denoising methods restore clear results by selecting and averaging pixels in the noisy input. Instead of relying on hand-crafted selecting and averaging strategies, we propose to explicitly learn this process with deep neural networks. Specifically, we propose deformable 2D kernels for image denoising where the sampling locations and kernel weights are both learned. The proposed kernel naturally adapts to image structures and could effectively reduce the oversmoothing artifacts. Furthermore, we develop 3D deformable kernels for video denoising to more efficiently sample pixels across the spatial-temporal space. Our method is able to solve the misalignment issues of large motion from dynamic scenes. For better training our video denoising model, we introduce the trilinear sampler and a new regularization term. We demonstrate that the proposed method performs favorably against the state-of-the-art image and video denoising approaches on both synthetic and real-world data.

研究の動機と目的

• 手作業で設計された規則に頼るのではなく、ノイズ除去における古典的な選択と平均化の過程を学習させる動機づけ。
• 画像の構造に適応してサンプリング位置と重みを変形可能にするカーネルを開発し、ノイズ除去品質を向上。
• 動画ノイズ除去における大きな運動を扱うために 3D の可変形カーネルへ拡張し、アーティファクトを低減。
• 3D カーネル学習を安定化させるアニーリングベースの正則化を含む学習戦略を導入。
• 合成データと実データで、最先端の画像および動画ノイズ除去法と比較評価。

提案手法

• CNN（オフセットネットワーク）で画素ごとの可変形カーネルオフセットを推定。
• 予測オフセット位置で、予測されたオフセット位置のノイズ入力から画素をサンプリングし、双線形/トリリニア補間を用いる。
• 連結されたサンプリング画素、入力、およびオフセット特徴量から空間的に変動するカーネルウェイト F を計算し、Y = sum X(sampled) * F を形成。
• 動画には、空間-時間空間を跨いでサンプリングする 3D 可変形カーネルを用い、トライリニア補間を適用。
• トレーニング時にカーネル群間で多様な時系列サンプリングを促すアニーリング正則化を導入。
• 知覚品質のためのオプションのガンマ補正とともに、線形空間でエンドツーエンドの学習。

実験結果

リサーチクエスチョン

• RQ1 可変形で学習可能なサンプリンググリッドは、画像および動画のノイズ除去において固定の剛性カーネルよりも優れているだろうか？
• RQ2 3D の可変形カーネルは、動的シーンにおける大きな運動とミスアライメントを、2D アプローチよりもより良く処理できるだろうか？
• RQ3 アニーリングベースの正則化は、動画ノイズ除去における最適化とサンプルの時間的利用を改善するだろうか？
• RQ4 学習された可変形カーネルは、合成データおよび実データに対して最先端のノイズ除去法とどのように比較されるか？

主な発見

• 可変形カーネルはサンプリング位置と重みを適応させることを学習し、剛性カーネルと比較してノイズ除去品質を向上させ、アーティファクトを低減。
• 大きな動きを伴う動画では、3D 可変形カーネルが信頼できるフレームへサンプルを分散させることにより、2D の counterparts を上回る。
• 提案手法は、合成実験において単一画像および動画ノイズ除去の両方で最先端手法に対して有利な PSNR/SSIM を達成。
• アニーリング正則化は、参照フレーム周辺にサンプルが集中する局所最適解を避け、より広い時間的利用を可能にする。
• このアプローチは実データのノイズ画像や携帯電話で撮影した動画にも一般化し、微細なエッジを回復しアーティファクトを低減。
• アブレーション研究は、動的重み、可変形サンプリング、およびアニーリングが性能にとって重要であることを示す。