[論文レビュー] SinSR: Diffusion-Based Image Super-Resolution in a Single Step

Yufei Wang, Wenhan Yang+8 more|arXiv (Cornell University)|Nov 23, 2023

Advanced Image Processing Techniques被引用数 4

ひとこと要約

SinSRは、事前学習済みの教師モデルから決定的マッピングを蒸留することで、1回の推論ステップで高精細な画像生成を実現する1段階型の拡散ベース超解像手法を提案する。一貫性を保つ損失関数と導出された決定的サンプリング戦略を活用することで、最大 \\times10 の高速化を達成しつつ、最先端の手法と同等またはそれ以上の性能を実現する。

ABSTRACT

While super-resolution (SR) methods based on diffusion models exhibit promising results, their practical application is hindered by the substantial number of required inference steps. Recent methods utilize degraded images in the initial state, thereby shortening the Markov chain. Nevertheless, these solutions either rely on a precise formulation of the degradation process or still necessitate a relatively lengthy generation path (e.g., 15 iterations). To enhance inference speed, we propose a simple yet effective method for achieving single-step SR generation, named SinSR. Specifically, we first derive a deterministic sampling process from the most recent state-of-the-art (SOTA) method for accelerating diffusion-based SR. This allows the mapping between the input random noise and the generated high-resolution image to be obtained in a reduced and acceptable number of inference steps during training. We show that this deterministic mapping can be distilled into a student model that performs SR within only one inference step. Additionally, we propose a novel consistency-preserving loss to simultaneously leverage the ground-truth image during the distillation process, ensuring that the performance of the student model is not solely bound by the feature manifold of the teacher model, resulting in further performance improvement. Extensive experiments conducted on synthetic and real-world datasets demonstrate that the proposed method can achieve comparable or even superior performance compared to both previous SOTA methods and the teacher model, in just one sampling step, resulting in a remarkable up to x10 speedup for inference. Our code will be released at https://github.com/wyf0912/SinSR

研究の動機と目的

• 拡散ベース超解像モデルの高い推論コストに取り組む。通常、高品質な結果を得るには15ステップ以上を要する。
• 長大なマルコフ連鎖に依存せずに、感知品質や多様性を損なわず1ステップ生成を実現する。
• トレーニングおよび推論のオーバーヘッドを低減しながら、高精細な画像再構成を維持する。
• 知識蒸留に加え、教師モデルからの知識伝達に加え、訓練中に真値のラベルを直接統合することで一般化性能を向上させる。

提案手法

• 最近の最先端手法ResShiftを基に、入力ノイズと高解像度画像のペairedトレーニングデータの生成を高速化する決定的サンプリング戦略を導出する。
• 入力ランダムノイズと対応する高解像度出力との間の双方向的決定的マッピングを学習する学生モデルを訓練する。
• 真値画像と予測された初期ノイズ状態から再構成された画像の差を最小化する一貫性を保つ損失関数を導入する。
• 教師モデルの生成能力を学生モデルに知識蒸留することで、1ステップ推論を可能にする。
• 微調整コストを低減し収束性を向上させるために、事前学習済みの教師モデルから学生モデルを初期化する。
• トレーニング中にODEソルバーを用いて高品質なトレーニングペアを生成し、同時に1ステップでの極めて高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 拡散ベース超解像モデルは、長大なマルコフ連鎖に依存せずに、1回の推論ステップで高感知品質を達成できるか？
• RQ2 教師拡散モデルから学生モデルへの決定的マッピングを蒸留することは、1ステップ画像生成に実現可能か？
• RQ3 蒸留中に真値画像を統合することで、知識蒸留のみに依存する場合と比較して、学生モデルの性能が向上するか？
• RQ4 一貫性を保つ損失関数は、DDIMのような標準的な逆方向推論手法と比較して、より高い忠実度とアーティファクトの低減をもたらすか？
• RQ5 提案手法は、既存の最先端拡散ベースSR手法と比較して、速度と性能で優れているか？

主な発見

• SinSRは、1回の推論ステップで教師モデルResShift [45] と同等またはそれ以上の性能を達成し、最大 \times10 の高速化を実現する。
• RealSet65データセットにおいて、SinSR（24.32Mパラメータ）はCLIPIQAスコア0.6499、MUSIQスコア58.71を達成し、より小さいResShiftモデル（24.32M）の52.71MUSIQを上回る。
• 一貫性を保つ損失関数のおかげで、学生モデルはDDIM逆方向推論よりも忠実度が高く、視覚的比較で明確な詳細再構成の改善が確認された。
• SinSRのトレーニング時間は、より複雑な損失関数を用いても、約2.57日（30kイテレーション）にまで短縮された。これに対してResShiftは約7.64日（500kイテレーション）を要した。
• ノイズとHR画像の間の決定的マッピングを学習する学生モデルは、ノイズ除去ベースのアプローチと比較して、モデルサイズの縮小に対してはるかに頑健であることが示され、最適化が容易であることが示された。
• より単純な蒸留戦略を採用しても、誤差蓄積を抱える反復的蒸留に苦しむより複雑な手法（例：Rectified Flow）を上回る性能を示した。