[論文レビュー] CFSNet: Toward a Controllable Feature Space for Image Restoration

Wei Wang, Ruiming Guo+2 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Image Processing Techniques参考文献 43被引用数 5

ひとこと要約

CFSNet は、ユーザーが1つの制御変数 α_in を用いて再構築品質を微調整できる制御可能特徴空間フレームワークを提案する。二重ブランチネットワークにおける適応的結合係数を用いることで、超解像、ノイズ除去、デブロッキングの各タスクにおいて、視覚的品質と柔軟性を向上させた最先端の性能を達成する。

ABSTRACT

Deep learning methods have witnessed the great progress in image restoration with specific metrics (e.g., PSNR, SSIM). However, the perceptual quality of the restored image is relatively subjective, and it is necessary for users to control the reconstruction result according to personal preferences or image characteristics, which cannot be done using existing deterministic networks. This motivates us to exquisitely design a unified interactive framework for general image restoration tasks. Under this framework, users can control continuous transition of different objectives, e.g., the perception-distortion trade-off of image super-resolution, the trade-off between noise reduction and detail preservation. We achieve this goal by controlling the latent features of the designed network. To be specific, our proposed framework, named Controllable Feature Space Network (CFSNet), is entangled by two branches based on different objectives. Our framework can adaptively learn the coupling coefficients of different layers and channels, which provides finer control of the restored image quality. Experiments on several typical image restoration tasks fully validate the effective benefits of the proposed method. Code is available at https://github.com/qibao77/CFSNet.

研究の動機と目的

• 視覚的品質と再構築精度のバランスを取るユーザー制御可能な画像修復手法の不足に対処する。
• PSNR や SSIM のみを最適化する固定で決定論的なネットワークの限界を克服し、ユーザーの好みを反映できる仕組みを提供する。
• 超解像、ノイズ除去、デブロッキングなどの複数の画像修復タスクに適用可能な統合的でエンドツーエンドのフレームワークを開発する。
• 推論時に1つのスカラ変数 α_in を用いて、継続的かつリアルタイムに修復結果を制御できるようにする。
• 特徴レベルでの制御を向上させるために、視覚的品質と歪みの目的の間で動的に調整可能な適応的結合係数を導入する。

提案手法

• 低歪みを最適化するメインブロックと、高視覚的品質を最適化するチューニングブロックを備えた二重ブランチネットワークアーキテクチャを設計する。
• 制御スカラ α_in から学習される適応的結合係数を用いて、両ブランチからの特徴を結合する結合モジュールを導入する。
• 各層・チャネルごとに結合係数を学習する微分可能で適応的な戦略を採用し、特徴表現に対する細かい制御を可能にする。
• 最適化中のトレードオフをバランスさせるために、視覚的損失と再構築損失の組み合わせを用いてネットワークをエンドツーエンドで訓練する。
• 同じアーキテクチャと制御メカニズムを再利用することで、複数の画像修復タスクに同じフレームワークを適用する。
• 推論時に1つの制御変数 α_in を用いて、視覚的品質最適化と歪み最適化の出力を補間することで、リアルタイムでのユーザー好みの適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 統合的ディープラーニングフレームワークは、複数のタスクにわたり継続的かつユーザー主導の画像修復結果の制御を可能にするか？
• RQ2 1つの制御可能なネットワーク内で、視覚的品質と再構築精度を効果的にバランスさせることは可能か？
• RQ3 適応的結合係数は、未学習の劣化レベルに対しても特徴レベルの制御と一般化を向上させるか？
• RQ4 提案手法は、定量的指標と主観的視覚的品質の両面で、固定でタスク特化されたネットワークを上回るか？
• RQ5 訓練データに含まれない未確認の劣化レベル（例：ノイズレベルや JPEG の品質因子）に対しても、フレームワークは高い性能を維持できるか？

主な発見

• CFSNet は、画像ノイズ除去の BSD68 データセットで SOTA の PSNR を達成し、σ=25 の場合に 29.24 dB、σ=30（未学習）で 28.39 dB、σ=50 で 26.28 dB を記録し、未学習のノイズレベルにおいて DnCNN-B や FFDNet を上回った。
• JPEG デブロッキングの LIVE1 データセットでは、q=40 で 34.16 dB、q=30（未学習）で 33.16 dB、q=20（未学習）で 31.71 dB を達成し、q=30 で DnCNN-3 より 0.18 dB 高い性能を示した。
• 視覚的比較では、特に中間の α_in 値において、ARCNN や DnCNN と比較してアーティファクト除去とディテール保持のバランスが優れていた。
• α_in=0.6 の場合、α_in=0.5 よりもテスト画像017 の空域が滑らかになっており、ユーザーの好みに応じた視覚的品質の向上が確認された。
• 未学習の劣化レベル（例：ノイズ除去の σ=15、デブロッキングの q=20）に対しても、CFSNet は強い性能を維持しており、一般化能の高さが裏付けられた。
• CFSNet は推論時にリアルタイムでインタラクティブな制御が可能であり、再トレーニングなしにユーザーの好みに応じた結果選択が可能である。