[論文レビュー] LAPAR: Linearly-Assembled Pixel-Adaptive Regression Network for Single Image Super-Resolution and Beyond

Wenbo Li, Kun Zhou+4 more|arXiv (Cornell University)|May 21, 2021

Advanced Image Processing Techniques参考文献 50被引用数 107

ひとこと要約

LAPARは、SISRを実行するために事前定義済みディクショナリからフィルタを組み立てる軽量でピクセル単位の適応回帰アプローチを導入し、ノイズ除去やJPEGデブロックにも拡張できる。

ABSTRACT

Single image super-resolution (SISR) deals with a fundamental problem of upsampling a low-resolution (LR) image to its high-resolution (HR) version. Last few years have witnessed impressive progress propelled by deep learning methods. However, one critical challenge faced by existing methods is to strike a sweet spot of deep model complexity and resulting SISR quality. This paper addresses this pain point by proposing a linearly-assembled pixel-adaptive regression network (LAPAR), which casts the direct LR to HR mapping learning into a linear coefficient regression task over a dictionary of multiple predefined filter bases. Such a parametric representation renders our model highly lightweight and easy to optimize while achieving state-of-the-art results on SISR benchmarks. Moreover, based on the same idea, LAPAR is extended to tackle other restoration tasks, e.g., image denoising and JPEG image deblocking, and again, yields strong performance. The code is available at https://github.com/dvlab-research/Simple-SR.

研究の動機と目的

• 高品質なSISRを実用的な効率のために低いモデル複雑度で動機づける。
• フィルタ基底のディクショナリ上の線形に組み立てられたピクセル適応回帰フレームワークを提案し、係数を回帰させる。
• GaussianとDoGフィルタの事前定義ディクショナリが、少数のパラメータで競争力のある、あるいは優れたSR結果を生み出せることを示す。
• 同じフレームワークをデノイジングとJPEGデブロックにも拡張し、高い性能を発揮する。

提案手法

• LR-to-HRマッピングを、事前定義済みベースフィルタのディクショナリ上の線形係数回帰として表現する。
• 軽量ネットワーク（LAPARnet）を用いて各ピクセルの空間的に変動する組立係数を学習する。
• F_i = Phi_i Dとしてピクセル適応フィルタを組み立てる。ここでDはL個の固定ディクショリ（k x k）です。
• 高解像度ピクセルを、y_hat_i = Phi_i D B_i^Tで予測する。B_iはi番目のピクセル周辺の局所パッチで、双三次アップサンプリングされた画像から取られる。
• 最適化の安定化のためにCharbonnier損失を使用する。
• ディクショリ設計には、構造とエッジを捉えるための72個のGaussianとDoGフィルタを使用する。フィルタは総和が1になるよう正規化される。

実験結果

リサーチクエスチョン

• RQ1 線形に組み立てられたピクセル適応回帰フレームワークは、従来のSRモデルよりはるかに少ないパラメータで最先端の性能を達成できるか。
• RQ2 GaussianとDoGのような単純なフィルタの事前定義ディクショナリは、スケールを跨ぐ多様な画像構造を捉えるのに十分か。
• RQ3 LAPARフレームワークをデノイジングやJPEGデブロックなどの他の復元タスクに拡張しても、性能を失わずに済むか。

主な発見

• LAPAR-Aは、複数のベンチマークにおいて軽量SR手法の中で最先端の結果を、パラメータ数とMultiply-Addsを抑えつつ達成している。
• 72フィルタのGaussian/DoGディクショリは、Set5/B100のスケールでPSNRにおいて小規模なディクショリやランダム、RAISRベースのフィルタよりも優れている。
• LAPARはx2, x3, x4のスケールで競争力のあるSR性能を維持しつつ、モデルサイズを大幅に低減（例：x4のLAPAR-Aは約0.66Mパラメータ）。
• LAPARの派生は高速推論を提供（例：1280x720 x4でRTX 2080Ti上で22.2–37.3 ms程度）。
• このアプローチは、カラーと構造を保持しつつ、標準セットでのPSNR/SSIMにおいていくつかのベースラインを上回る画像デノイジングとJPEGデブロックへの適用にも効果的に拡張される。