[論文レビュー] KOALAnet: Blind Super-Resolution using Kernel-Oriented Adaptive Local Adjustment

Soo Ye Kim, Hyeonjun Sim+1 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Image Processing Techniques参考文献 30被引用数 6

ひとこと要約

KOALAnet は、キーホールドアダプティブローカル調整（KOALA）モジュールを用いて、空間的に変化する劣化および修復カーネルを同時に学習する画期的なブラインドスーパーレゾリューションフレームワークである。位置に依存するぼかしカーネルを予測し、学習されたフィルタを介して特徴量をアダプティブに変調することで、意図的なぼかしを含む合成および実世界の低解像度画像において、過剰にシャープ化を避けながら写真家の意図を保持するという最先端の性能を達成している。

ABSTRACT

Blind super-resolution (SR) methods aim to generate a high quality high resolution image from a low resolution image containing unknown degradations. However, natural images contain various types and amounts of blur: some may be due to the inherent degradation characteristics of the camera, but some may even be intentional, for aesthetic purposes (e.g. Bokeh effect). In the case of the latter, it becomes highly difficult for SR methods to disentangle the blur to remove, and that to leave as is. In this paper, we propose a novel blind SR framework based on kernel-oriented adaptive local adjustment (KOALA) of SR features, called KOALAnet, which jointly learns spatially-variant degradation and restoration kernels in order to adapt to the spatially-variant blur characteristics in real images. Our KOALAnet outperforms recent blind SR methods for synthesized LR images obtained with randomized degradations, and we further show that the proposed KOALAnet produces the most natural results for artistic photographs with intentional blur, which are not over-sharpened, by effectively handling images mixed with in-focus and out-of-focus areas.

研究の動機と目的

• 空間的に変化するぼかし、特に被写界深度効果に起因する意図的なぼかしが含まれる実画像におけるブラインドスーパーレゾリューションの課題に対処すること。
• 双方向の劣化および修復カーネルの同時学習により、bicubic劣化を超える一般化性能を向上させること。
• 芸術的写真における合焦点でない領域の過剰なシャープ化を避けることで、写真家の意図を保持すること。
• 任意のCNNに統合可能で、画像修復タスクにおけるアダプティブ特徴調整に適した、柔軟で拡張可能なモジュール（KOALA）を開発すること。

提案手法

• ダウンサンプリングネットワークが、低解像度入力から空間的に変化するぼかしカーネルを推定する。
• KOALAモジュールは、予測された劣化カーネルを用いて、特徴量変調のための位置に依存する乗算（m）および局所フィルタ（k）パラメータを生成する。
• アップサンプリングネットワークは、学習されたkパラメータを用いて空間的に変化するフィルタリングを実行し、劣化特性に応じて初期段階の特徴量を調整する。
• ランダムに選択された非等方的ガウス劣化の下でエンド・ツー・エンドに学習されることで、多様なぼかしタイプに対して頑健である。
• KOALAモジュールは、画像修復タスクにおけるさまざまなCNNアーキテクチャと互換性があり、拡張可能に設計されている。
• 劣化カーネル推定は、予測値と真値の間の $l_2$ ロスにより最適化され、劣化モデル化の精度が向上する。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、被写界深度効果に起因する意図的なぼかしを含む空間的に変化するぼかしを効果的に分離・復元できるか？
• RQ2 劣化および修復カーネルの共同学習は、未知の実世界の劣化パターンに対して性能をどのように向上させるか？
• RQ3 KOALAnet は、過剰にシャープ化を避けて、合焦点でない領域の元のぼかし特性をどの程度保持できるか？
• RQ4 提案されたKOALAモジュールは、さまざまなネットワークアーキテクチャおよび劣化タイプにおいて、ブラインドスーパーレゾリューションに一般化可能か？

主な発見

• KOALAnet は、$\times 4$ スーパーレゾリューションにおいて、DIV2K-val データセットでPSNR 49.50、SSIM 0.9980 を達成し、最先端手法を上回った。
• モデルは、DIV2K-val で劣化カーネル推定の平均 $l_2$ エラーを 0.0010、DIV2KRK で 0.0044 にまで低減し、KernelGAN や BlindSR より顕著に優れた性能を示した。
• 合焦点と合焦点外の領域が混合した画像において、KOALAnet はぼかし特性を効果的に保持し、背景領域の過剰なシャープ化を回避した。
• アブレーションスタディの結果、残差接続を削除するか、均一なカーネルを使用するとPSNRが4.72 dB低下し、空間的に変化するモデリングの必要性が裏付けられた。
• 可視化結果から、KOALAモジュールが方向に敏感なフィルタを学習し、局所的なぼかしパターンに応じて特徴量を適応的に調整していることが確認された。
• 歴史的画像においても、未知の劣化が加わった状況でも、高い知覚的品質と忠実度を維持するという、強力な一般化性能を示した。