[論文レビュー] Learning to Sample the Most Useful Training Patches from Images

Shuyang Sun, Liang Chen+2 more|arXiv (Cornell University)|Nov 24, 2020

Advanced Image Processing Techniques参考文献 42被引用数 7

ひとこと要約

この論文では、画像復元タスク（デモザイキングや統合ノイズ除去・デモザイキングを含む）における最も情報量の多い（難易度の高い）学習パッチを自動で特定・優先順位付けするデータ駆動型のアクティブラーニング手法PatchNetを提案する。各パッチのトレーニング有効性重みを学習し、微分可能バイナリゼーション機構を用いて適用することで、推論コストを増加させることなくPSNRで2.35 dBの向上を達成し、複数のベンチマークで最先端の性能を実現した。

ABSTRACT

Some image restoration tasks like demosaicing require difficult training samples to learn effective models. Existing methods attempt to address this data training problem by manually collecting a new training dataset that contains adequate hard samples, however, there are still hard and simple areas even within one single image. In this paper, we present a data-driven approach called PatchNet that learns to select the most useful patches from an image to construct a new training set instead of manual or random selection. We show that our simple idea automatically selects informative samples out from a large-scale dataset, leading to a surprising 2.35dB generalisation gain in terms of PSNR. In addition to its remarkable effectiveness, PatchNet is also resource-friendly as it is applied only during training and therefore does not require any additional computational cost during inference.

研究の動機と目的

• 画像復元データセットにおける長尾分布問題に対処すること。具体的には、難易度の高い高周波数パッチが不足している状況を改善する。
• 手作業による難易度の高いトレーニングサンプルの選別に依存することを軽減すること。これは時間のかかる作業であり、最適でない。
• 特にトレーニングデータとテストデータの分布が異なる場合に、モデルの一般化性能を向上させること。
• 推論コストを増加させない軽量でトレーニング専用のメカニズムを構築すること。
• パッチの内在的な難易度に基づいて、自動的かつ適応的に情報量の多いパッチを選択する仕組みを実現すること。

提案手法

• PatchNetは、画像パッチを入力として受け取り、各パッチのトレーニング有効性スカラー（有用性）を出力する順方向型の畳み込みニューラルネットワークである。
• 各パッチには、学習可能パラメータである温度ハイパーパrameterで制御される微分可能バイナリゼーション関数を介して非負の重みが割り当てられる。
• トレーニング有効性マップは要素ごとの乗算により適用され、損失計算時に価値が低いパッチがマスクされる。
• PatchNetと復元バックボーンの両方を、重み付き損失関数を用いてエンドツーエンドで同時に学習する。
• PatchNetが抽出した構造的知識を活用するための新しいネットワークアーキテクチャ、RestoreNetが設計された。
• バイナリゼーション関数は、温度で制御される鋭さを持つシグモイドベースのソフトプラス近似を用い、安定性とスパarsityのバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型手法は、画像復元タスクにおいて、自動的に最も情報量の多いトレーニングパッチを特定・優先順位付けできるか？
• RQ2 難易度の高いパッチの学習的サンプリングは、特にトレーニングデータとテストデータの分布が異なる場合に、モデルの一般化性能を向上させるか？
• RQ3 PatchNetは推論時に計算コストを増加させることなく性能を向上させられるか？
• RQ4 パッチの適応的選択は、復元ネットワークの学習ダイナミクスにどのように影響を与えるか？
• RQ5 PatchNetは、デモザイキングや統合ノイズ除去／デモザイキングといった長尾問題に対して、どの程度の性能向上を達成できるか？

主な発見

• トレーニングデータとテストデータの分布が異なる状況下で、デモザイキングタスクにおいてPSNRが2.35 dB向上し、強力な一般化性能の向上を示した。
• トレーニングデータが容易で低周波数のパッチに支配されている場合でも、PatchNetは自動的にエッジやテクスチャのような難易度の高い高周波数領域を積極的に選択する。
• より困難なノイズレベル（例：σ = 15）でもPatchNetは優れた性能を発揮し、長尾状況下での有効性を裏付けた。
• トレーニングの進行に伴い、モデルの性能向上に伴い容易になるパッチを徐々に優先順位を下げていくトレーニング有効性マップの変化が観察された。
• PatchNetを用いて訓練されたRestoreNetは、Vimeo-90k、MIT Moire、DIV-2kデータセットにおいて、統合ノイズ除去およびデモザイキングタスクで最先端の性能を達成した。
• 可視化結果から、PatchNetはアーティファクトが生じやすい高周波数・高コントラスト領域（例：グリッドやエッジ）を優先的に保持していることが確認された。