[論文レビュー] Kernelized Back-Projection Networks for Blind Super Resolution

Tomoki Yoshida, Yuki Kondo+3 more|arXiv (Cornell University)|Feb 16, 2023

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、繰り返しぼかしカーネル推定と超解像特徴強化を統合することで、盲目的超解像のためのカーネル化バックプロジェクションネットワーク（KBPNおよびKCBPN）を提案する。生のぼかしカーネルを用いて劣化プロセスをモデル化し、バックプロジェクションを通じた残差学習を実施することで、KBPNは盲目的超解像ベンチマークでSOTAのPSNR（29.52）を達成し、HR画像とぼかしカーネル推定の反復的精錬を活用して、先行手法を上回る性能を発揮する。

ABSTRACT

Since non-blind Super Resolution (SR) fails to super-resolve Low-Resolution (LR) images degraded by arbitrary degradations, SR with the degradation model is required. However, this paper reveals that non-blind SR that is trained simply with various blur kernels exhibits comparable performance as those with the degradation model for blind SR. This result motivates us to revisit high-performance non-blind SR and extend it to blind SR with blur kernels. This paper proposes two SR networks by integrating kernel estimation and SR branches in an iterative end-to-end manner. In the first model, which is called the Kernel Conditioned Back-Projection Network (KCBPN), the low-dimensional kernel representations are estimated for conditioning the SR branch. In our second model, the Kernelized BackProjection Network (KBPN), a raw kernel is estimated and directly employed for modeling the image degradation. The estimated kernel is employed not only for back-propagating its residual but also for forward-propagating the residual to iterative stages. This forward-propagation encourages these stages to learn a variety of different features in different stages by focusing on pixels with large residuals in each stage. Experimental results validate the effectiveness of our proposed networks for kernel estimation and SR. We will release the code for this work.

研究の動機と目的

• トレーニング時に見られない任意の劣化、特にぼかしカーネルを処理できない非盲目的超解像の限界を是正すること。
• 多様なぼかしカーネルでトレーニングされた非盲目的超解像モデルが、専用の盲目的手法と同等の性能を達成できるかどうかを調査すること。
• 反復的精錬を通じて、超解像とぼかしカーネル推定を同時に最適化するエンドツーエンドでトレーニング可能なネットワークの開発。
• 再構成されたLR画像に基づく残差学習によるバックプロジェクション機構を用いて、高解像度残差ピクセルに注目することで、深層超解像ネットワークの特徴学習を向上させること。
• 明示的な劣化モデル化を用いて、画像再構成とぼかしカーネル推定の両方のロバスト性と正確性を向上させること。

提案手法

• 2つのモデルを提案：KCBPNはSRブランチを低次元のカーネル表現で条件づけ、KBPNは生のぼかしカーネルを推定して明示的な劣化モデル化を実現。
• バックプロジェクションフレームワーク内で、繰り返しのアッププロジェクションとダウンプロジェクションを統合し、各段階で現在のHR推定値とぼかしカーネルを用いてLR画像を再構成。
• 各段階で入力されたLR画像と再構成されたLR画像の間の残差損失を採用し、SRとぼかしカーネル推定の両方を段階的に精錬可能に。
• 組み合わせ損失関数を適用：ぼかしカーネル推定のためのカーネル損失と、再構成されたLR画像と入力との一致を促進するLR損失を併用し、正確な劣化モデル化を促進。
• バックプロジェクションを誤差フィードバックだけでなく、残差の前方伝搬にも活用し、誤差が大きいピクセルにおける段階固有の特徴学習を促進。
• 繰り返し段階間で特徴を保存・強化するための密なスキップ接続構造を採用し、表現の多様性を向上。

(a) HR image

実験結果

リサーチクエスチョン

• RQ1 非盲目的超解像モデルが多様なぼかしカーネルでトレーニングされた場合、専用の盲目的超解像手法と同等の性能を達成できるか？
• RQ2 反復的バックプロジェクションは、盲目的設定におけるぼかしカーネル推定と超解像の両方を同時に最適化するためにどのように拡張可能か？
• RQ3 再構成されたLR画像に基づく残差学習は、盲目的超解像における特徴表現と再構成品質をどの程度向上させるか？
• RQ4 生のぼかしカーネルを用いた劣化プロセスの明示的モデル化は、超解像とカーネル推定の両方の性能を向上させるか？
• RQ5 提案されたネットワークにおける繰り返し段階はどのように多様な特徴を学習し、再構成忠実度の向上に寄与するか？

主な発見

• KBPNはDIV2Kの盲目的超解像ベンチマークでPSNR 29.52を達成し、IKC（27.64）やKOALAnet（25.46）といったSOTA手法を上回る性能を示した。
• 定性的な比較において、特に鋭いエッジや繊細なテクスチャの再構成において優れた視覚的品質を示した。
• 特徴マップの可視化から、初期段階では低周波数特徴を学習し、後続段階では高周波数ディテールに注目していることが確認され、段階的な精錬が行われていることが示された。
• 残差マップ（R^LR_t）は段階を経るごとにピクセル単位の値が減少しており、再構成されたLR画像と真値の間の整合性が向上していることを示している。
• 本手法は、非等方的ガウスぼかしなど多様なぼかしタイプに対してロバストであるが、複雑なぼかしではカーネル分散推定が不完全な場合がある。
• 実験的結果から、多様なぼかしカーネルでトレーニングされた非盲目的超解像モデルが、盲目的超解像と同等に近い性能を達成できることを確認し、本フレームワークのコア設計原理を裏付けた。

Figure 2 : Comparison of iterative SR networks. Iterative stages are enclosed by gray rectangles. (a) Non-blind SR with iterative up- and down-projections [ 5 ] . (b) Blind SR with kernel estimation [ 2 ] . (c) Our method 1 (KCBPN): Iterative up- and down-projections are integrated with kernel condi