[論文レビュー] Perception-Oriented Single Image Super-Resolution using Optimal Objective Estimation

Seung-Ho Park, Young Su Moon+1 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Image Processing Techniques被引用数 5

ひとこと要約

本稿では、高分解能画像再構成のための領域別最適な目的関数マップを動的に推定する、認識志向型の単一画像超解像フレームワークSROOEを提案する。学習済みの目的軌道と、画像領域ごとの最適な損失重みを推定する予測モデルを用いて訓練された生成モデルを用いることで、SROOEは、LPIPS、DISTSにおける認識品質指標と、PSNR、SSIMにおける歪み指標において、5つのベンチマークで既存手法を上回る最先端の性能を達成し、構造的忠実度が向上し、アーティファクトが低減された。

ABSTRACT

Single-image super-resolution (SISR) networks trained with perceptual and adversarial losses provide high-contrast outputs compared to those of networks trained with distortion-oriented losses, such as L1 or L2. However, it has been shown that using a single perceptual loss is insufficient for accurately restoring locally varying diverse shapes in images, often generating undesirable artifacts or unnatural details. For this reason, combinations of various losses, such as perceptual, adversarial, and distortion losses, have been attempted, yet it remains challenging to find optimal combinations. Hence, in this paper, we propose a new SISR framework that applies optimal objectives for each region to generate plausible results in overall areas of high-resolution outputs. Specifically, the framework comprises two models: a predictive model that infers an optimal objective map for a given low-resolution (LR) input and a generative model that applies a target objective map to produce the corresponding SR output. The generative model is trained over our proposed objective trajectory representing a set of essential objectives, which enables the single network to learn various SR results corresponding to combined losses on the trajectory. The predictive model is trained using pairs of LR images and corresponding optimal objective maps searched from the objective trajectory. Experimental results on five benchmarks show that the proposed method outperforms state-of-the-art perception-driven SR methods in LPIPS, DISTS, PSNR, and SSIM metrics. The visual results also demonstrate the superiority of our method in perception-oriented reconstruction. The code and models are available at https://github.com/seungho-snu/SROOE.

研究の動機と目的

• 単一画像超解像（SISR）において、固定された認識的損失や対抗的損失の限界を解消し、不自然な詳細や構造的歪みを生じさせないことを目的とする。
• 特に局所的に変化する形状に対して、最適な損失組み合わせを特定する課題を克服することを目的とする。
• 高次元の重み空間最適化を必要とせず、1つの生成器が複数の連続的に変化する目的を学習できるようにすることを目的とする。
• 領域適応的目的推定を用いて、認識品質と歪み指標を同時に向上させることを目的とする。
• 高分解能画像再構成におけるアーティファクトを低減し、構造的忠実度を向上させることを目的とする。

提案手法

• 本フレームワークは2つのモデルから構成される：与えられた低分解能入力に対して最適な目的関数マップを推定する予測モデル、および領域別目的関数を適用して超解像出力を生成する生成モデル。
• 生成モデルは、重要な損失組み合わせを結ぶ1次元の目的軌道上で訓練され、複雑な高次元の重みベクトル最適化の代わりに軌道追跡が行われる。
• 目的軌道は、低コントラストから高コントラストの設定へと至る、さまざまな視覚レベルで効果的な損失組み合わせを接続することで構築される。
• 訓練用の最適な目的関数マップは、軌道に沿ったグリッドサーチにより得られ、対応する低分解能画像と最適マップのペアが形成される。
• 生成器では、ターゲットの目的関数マップに応じて特徴量を適応的に変調するため、空間的特徴変換（SFT）層が使用される。
• 予測モデルは、低分解能入力を最適な目的関数マップにマッピングするように訓練され、画像領域ごとの局所的最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 領域別に最適な目的関数重みを設定することで、単一画像超解像における認識品質の向上とアーティファクトの低減が可能になるか？
• RQ2 1つの生成モデルが、画像の異なる領域で連続的に変化する損失目的を効果的に処理できるか？
• RQ3 高次元の損失重み最適化と比較して、1次元の目的軌道を用いることでどのような影響があるか？
• RQ4 最適な目的関数推定により、認識品質と歪み指標を同時にどれほど向上させられるか？
• RQ5 構造的忠実度と視覚的品質の観点から、本手法は最先端の認識志向型SISR手法と比較してどの程度優れているか？

主な発見

• SROOEは、DIV2KベンチマークでPSNR（27.07）とSSIM（0.7982）が最高を記録し、比較されたすべての最先端手法を上回った。
• Urban100データセットでは、PSNRが26.74、LPIPSが0.0960を達成し、両指標で1位となった。
• SROOEはDIV2KでDISTSスコア0.0875を記録し、競合手法よりも顕著に低く、優れた認識品質を示した。
• SROOEはDIV2Kで高いLR-PSNR（49.76）を維持しており、低分解能入力との整合性が強く、歪みが低減されていることを示した。
• 視覚的比較では、SRGAN、ESRGAN、RankSRGANと比較して、SROOEはより鋭いエッジとより正確な構造を生成し、アーティファクトが少ないことが確認された。
• アブレーションスタディの結果、P1234軌道とDF2Kでの訓練を組み合わせた完全なSROOEは、ベースライン手法に比べてPSNRが0.25 dB向上し、LPIPSが0.0051低下した。