[論文レビュー] Modulating Image Restoration with Continual Levels via Adaptive Feature Modification Layers

Jingwen He, Chao Dong+1 more|arXiv (Cornell University)|Apr 17, 2019

Advanced Image Processing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、適応的特徴変更層を介して継続的かつユーザー制御可能な画像修復レベル（例：ノイズ除去、スーパーレンジング、DeJPEG）の調整を可能にする統合型CNNフレームワーク、AdaFM-Netを提案する。ベースモデルを訓練し、フィルタ統計を補間する軽量なAdaFM層を挿入することで、再訓練を必要とせず、任意の劣化レベルで滑らかでアーチファクトのない修復が実現可能であり、パラメータの追加は4%未満に抑えられ、準SOTA性能を維持する。

ABSTRACT

In image restoration tasks, like denoising and super resolution, continual modulation of restoration levels is of great importance for real-world applications, but has failed most of existing deep learning based image restoration methods. Learning from discrete and fixed restoration levels, deep models cannot be easily generalized to data of continuous and unseen levels. This topic is rarely touched in literature, due to the difficulty of modulating well-trained models with certain hyper-parameters. We make a step forward by proposing a unified CNN framework that consists of few additional parameters than a single-level model yet could handle arbitrary restoration levels between a start and an end level. The additional module, namely AdaFM layer, performs channel-wise feature modification, and can adapt a model to another restoration level with high accuracy. By simply tweaking an interpolation coefficient, the intermediate model - AdaFM-Net could generate smooth and continuous restoration effects without artifacts. Extensive experiments on three image restoration tasks demonstrate the effectiveness of both model training and modulation testing. Besides, we carefully investigate the properties of AdaFM layers, providing a detailed guidance on the usage of the proposed method.

研究の動機と目的

• 深層学習ベースの画像修復分野において、離散的で固定された劣化レベルにのみ訓練されたモデルが実用的でないというギャップを埋める。
• 再訓練やモデル再学習を必要とせず、推論時に継続的かつインタラクティブに修復強度を調整できる仕組みを提供する。
• 計算コストの増加を最小限に抑えつつ、連続的な劣化レベル（例：JPEG品質、ノイズ分散）に一般化可能な統合フレームワークを開発する。
• 両端のレベル（開始レベルと終了レベル）においても忠実度を保ちながら、全範囲で高い出力品質を実現する。
• リアルタイムでの修復効果調整が可能な実用的でデプロイ可能なソリューションを提供する。

提案手法

• 推論時に特徴統計を適応的に変更するための「適応的特徴変更（AdaFM）層」を導入し、深度方向畳み込みを用いる。
• 開始レベルの劣化（例：DeJPEGのq80）でベースの修復CNNを訓練した後、終了レベルの劣化（例：q10）に適応するため、AdaFM層を挿入してファインチューニングする。
• 推論時、スカラ係数 λ ∈ [0,1] を用いてAdaFM層のフィルタを補間することで、レベル間の滑らかな遷移を実現する。
• 連続的な劣化レベル L_c から補間係数 λ へのマッピングに多項式関数 λ = Σ w_j * L_c^j を使用し、正確なレベル予測を可能にする。
• 訓練後、CNNおよびAdaFMのすべてのパラメータを固定することで、追加の学習やファインチューニングなしにリアルタイムでのモード変更が可能になる。
• 両端のレベルで高い性能を維持するようにAdaFM層を最適化し、全範囲にわたる耐性を確保する。

実験結果

リサーチクエスチョン

• RQ1 再訓練を必要とせず、連続的な劣化レベルの範囲で効果的にモード変更可能な単一のディープラーニングモデルを構築できるか？
• RQ2 特徴統計をどのように変更すれば、修復レベル間で滑らかでアーチファクトのない遷移を実現できるか？
• RQ3 高品質で連続的なモード変更を実現するための最小限のパラメータオーバーヘッドはどの程度か？
• RQ4 モード変更されたモデルの性能は、劣化範囲の両端における単一レベルモデルと比べてどうか？
• RQ5 劣化レベルとモード係数の間で多項式マッピングを用いることで、未観測のレベルに対しても正確かつ安定した修復が可能か？

主な発見

• AdaFM-Netは、全テストレベルでwell-trainedな単一レベルモデルと0.2 dB未満のPSNR距離を達成しており、高いモード精度を示している。
• 劣化範囲が小さい場合（例：q80→q50）は、範囲が大きい場合（例：q80→q10）よりもPSNR距離が顕著に小さく（0.1 dB未塔）、範囲の分解による性能向上が示唆される。
• AdaFM層は全モデルパラメータの4%未満の追加パラメータで、完全な連続的モード変更を可能にし、非常に効率的である。
• 定性的な結果では、極端なレベルでも可視的なアーチファクトが認められず、条件付きINやAdaBNを用いる手法とは異なり、顕著な歪みがないことが確認された。
• DeJPEG、スーパーレンジング、ノイズ除去の各タスクで、1つのコントロールノブ（λ）によるインタラクティブかつリアルタイムの修復強度調整が成功裏に実現された。
• 多項式関数による補間係数λのカーブフィッティングにより、劣化レベルとモード設定の間で正確なマッピングが実現可能であり、特に大範囲では立方関数が線形フィットを上回る性能を示した。