[論文レビュー] SamplingAug: On the Importance of Patch Sampling Augmentation for Single Image Super-Resolution

Shizun Wang, Ming Lu+5 more|arXiv (Cornell University)|Nov 30, 2021

Advanced Image Processing Techniques参考文献 22被引用数 4

ひとこと要約

本稿では、単一画像超解像（SISR）のためのデータ拡張手法であるSamplingAugを提案する。この手法は、最も情報量の多い低解像度（LR）-高解像度（HR）パッチペアをサンプリングすることでモデル性能を向上させる。一様なサンプリングではなく、線形補間による超解像とHRパッチ間のPSNRに基づくヒューリスティックなメトリックを用い、積分画像を活用することで高速化し、約100倍の高速化を達成した。この方法は、×2、×3、×4のスケーリング係数において、EDSR、RCAN、RDN、SRCNN、ESPNetモデルのすべてで一貫したPSNR向上を実現した。

ABSTRACT

With the development of Deep Neural Networks (DNNs), plenty of methods based on DNNs have been proposed for Single Image Super-Resolution (SISR). However, existing methods mostly train the DNNs on uniformly sampled LR-HR patch pairs, which makes them fail to fully exploit informative patches within the image. In this paper, we present a simple yet effective data augmentation method. We first devise a heuristic metric to evaluate the informative importance of each patch pair. In order to reduce the computational cost for all patch pairs, we further propose to optimize the calculation of our metric by integral image, achieving about two orders of magnitude speedup. The training patch pairs are sampled according to their informative importance with our method. Extensive experiments show our sampling augmentation can consistently improve the convergence and boost the performance of various SISR architectures, including EDSR, RCAN, RDN, SRCNN and ESPCN across different scaling factors (x2, x3, x4). Code is available at https://github.com/littlepure2333/SamplingAug

研究の動機と目的

• 一様なパッチサンプリングの限界、特に情報量の多いパッチを優先しない点を是正すること。
• ネットワークアーキテクチャを変更せずに、計算効率の良い方法で情報量の多いLR-HRパッチペアを特定・サンプリングすること。
• SISRモデルの収束性と性能を向上させること。
• 非重複なサンプリング戦略が、グリーディで重複するサンプリングに比べて利点をもたらすかどうかを調査すること。

提案手法

• 線形補間によるLRパッチと対応するHRパッチ間のPSNRを測定するヒューリスティックなメトリックを提案し、情報量の重要度を評価する。
• 積分画像を用いてメトリック計算を高速化し、計算コストを約2桁低減する。
• 3つのサンプリング戦略を採用する：上位p%パッチのグリーディサンプリング、非最大抑制（NMS）、投げ縄（TD）サンプリングによる非重複パッチの選択。
• 標準的なSISRトレーニングパイプラインにおいて、一様サンプリングの代わりにこのサンプリング戦略を適用する。
• EDSR、RCAN、RDN、SRCNN、ESPNetなど複数のSISRアーキテクチャに同一のトレーニングプロトコルを適用し、汎用性を評価する。
• DIV2K、Set5、Set14といった標準ベンチマークを用い、×2、×3、×4の複数のスケーリング係数で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動のメトリックを用いて情報量の多いパッチペアを優先することで、一様サンプリングに比べSISR性能が向上するか？
• RQ2 積分画像を用いることで、スケールに応じた高速で軽量なパッチ重要度評価が可能か？
• RQ3 非重複なサンプリング戦略（NMS、TD）は、上位パッチを重複して選ぶグリーディなサンプリングに比べて性能向上をもたらすか？
• RQ4 CutBlur や PatchNet といった既存のデータ拡張技術に比べ、提案手法は性能に優れるか？
• RQ5 異なるSISRアーキテクチャやスケーリング係数において、性能向上が一貫して得られるか？

主な発見

• 提案手法のSamplingAugは、複数のSISRアーキテクチャで一貫したPSNR向上を達成し、DIV2Kデータセットにおける×2スケーリングでEDSRで+0.12 dBの向上を実現した。
• 上位p%パッチをグリーディにサンプリングする戦略が、NMS や TD サンプリングを上回り、情報量の高い重複パッチがより有益であることを示した。
• 積分画像を用いることで、メトリック計算が約100倍高速化され、すべてのパッチペアの評価が効率的に行えるようになった。
• CutBlurに比べ、特に事前学習なしの設定でもSamplingAugは性能向上を一貫して示した。一方、CutBlurはベースラインを下回る結果を示した。
• PatchNet や OHEM よりも安定性と性能に優れ、OHEMは収束が不安定で、向上幅も小さかった。
• アブレーションスタディにより、提案メトリックがエッジベースのメトリック（Sobel、Canny、Laplacian）よりも効果的であり、+0.12 dBの最高PSNR向上を達成したことが確認された。