[論文レビュー] Self-Supervised Fast Adaptation for Denoising via Meta-Learning

Seunghwan Lee, Donghyeon Cho+2 more|arXiv (Cornell University)|Jan 9, 2020

Image and Signal Denoising Methods参考文献 31被引用数 8

ひとこと要約

本稿では、テスト時の内部画像自己同一性を活用することで、アーキテクチャの変更なしに事前学習済みの教師ありノイズ除去ネットワークの性能を向上させる、メタラーニングベースの自己教師付きファインチューニング手法を提案する。この手法により、アーキテクチャ変更なしに最先端の性能を達成する。ノイズレベルに応じたメタラーニングを用いることで、迅速かつ適応的なパrameter更新が可能となり、多様なベンチマークにおいてノイズ除去品質が著しく向上する。

ABSTRACT

Under certain statistical assumptions of noise, recent self-supervised approaches for denoising have been introduced to learn network parameters without true clean images, and these methods can restore an image by exploiting information available from the given input (i.e., internal statistics) at test time. However, self-supervised methods are not yet combined with conventional supervised denoising methods which train the denoising networks with a large number of external training samples. Thus, we propose a new denoising approach that can greatly outperform the state-of-the-art supervised denoising methods by adapting their network parameters to the given input through selfsupervision without changing the networks architectures. Moreover, we propose a meta-learning algorithm to enable quick adaptation of parameters to the specific input at test time. We demonstrate that the proposed method can be easily employed with state-of-the-art denoising networks without additional parameters, and achieve state-of-the-art performance on numerous benchmark datasets.

研究の動機と目的

• テスト時のノイズ分布が学習データと異なる場合に生じるドメインの不一致を解消すること。
• アーキテクチャの変更や追加パラメータなしに、最先端の教師ありノイズ除去器の性能を向上させること。
• 自己教師付き学習とメタラーニングを用いて、推論時に迅速かつ適応的なパrameterファインチューニングを可能にすること。
• 内部画像自己同一性（ピクセルの再現性）を活用して、低照度または高ISO条件下での復元品質を向上させること。

提案手法

• 二段階のノイズ除去フレームワーク：まず事前学習済みの教師ありネットワークを用い、次にテスト時に内部画像統計に基づく自己教師付き損失を用いてファインチューニングする。
• 自己教師付き学習は、Noise2Self風の訓練手法を用い、同じ画像のノイズ入りバージョンからピクセルを予測することで、自己同一性を活用する。
• 推論時に新しい入力画像に迅速に適応できるように、メタラーニングを用いてネットワークを訓練する。適応ステップ数を最小限に抑える。
• 画像構造を保持するノイズレベルに応じた損失関数を用い、微分可能で反復的なファインチューニング戦略を採用する。
• アーキテクチャに依存しない手法であり、FFDNet、MemNet、DnCNN、RDNなどの任意の事前学習済みノイズ除去ネットワークに適用可能（モデルの変更なし）。
• トレーニング時に多様なテスト画像をシミュレートすることで、メタラーナーは迅速な適応ポリシーを学習し、推論時に速やかに収束する。

実験結果

リサーチクエスチョン

• RQ1 テスト時の自己教師付き適応が、事前学習済みの教師ありノイズ除去ネットワークの性能を顕著に向上させられるか？
• RQ2 ドメインシフト下で、メタラーニングが迅速かつ正確なパrameter適応を実現するのにどの程度有効か？
• RQ3 外部のクリアデータなしで、内部画像自己同一性をどの程度活用してノイズ除去品質を向上させられるか？
• RQ4 本手法はアーキテクチャの変更なしに、異なるアーキテクチャおよびベンチマークデータセットに一般化可能か？
• RQ5 教師あり事前学習と自己教師付きテスト時適応の組み合わせが、純粋に教師ありまたは自己教師付きのベースラインを上回るか？

主な発見

• 本手法は、Set14、Set5、DIV80など複数のベンチマークデータセットで最先端の性能を達成し、既存手法と比較して最大0.5 dBのPSNR向上を実現した。
• MetaRIDNet、MetaRDN、MetaDnCNNは、20回の適応ステップでそれぞれSet14で36.20、36.13、36.05のPSNRを達成した（ブラインドノイズ除去条件下）。
• アーキテクチャに依存せず、FFDNet、MemNet、DnCNN、RDNなどすべてのテスト対象ネットワークで性能向上が一貫して見られた。
• わずか5回の適応ステップでも、完全に事前学習されたバージョンよりも0.1–0.3 dBの向上を達成しており、収束が速いことが示された。
• 異なるノイズレベルや画像コンテンツに対しても改善効果が安定しており、推論時に自己同一性を活用する有効性が裏付けられた。
• メタラーニングベースの適応により、計算オーバーヘッドを最小限に抑えながら迅速な推論が可能となり、リアルタイム応用に適している。