[論文レビュー] Revisiting L1 Loss in Super-Resolution: A Probabilistic View and Beyond

Xiangyu He, Jian Cheng|arXiv (Cornell University)|Jan 25, 2022

Advanced Image Processing Techniques被引用数 10

ひとこと要約

本論文は、高分解能出力を事後分布 P(y|x;W) としてモデル化することで、ℓ₁損失の確率的再考を提案し、再構成誤差の期待値を最小化する1対多のマッピングを学習可能にする。この手法により、推論コストを追加せずに画像の忠実度と不確実性推定が向上し、主流のアーキテクチャにおいて標準的な ℓ₁損失を上回る性能を発揮する。

ABSTRACT

Super-resolution as an ill-posed problem has many high-resolution candidates for a low-resolution input. However, the popular $\ell_1$ loss used to best fit the given HR image fails to consider this fundamental property of non-uniqueness in image restoration. In this work, we fix the missing piece in $\ell_1$ loss by formulating super-resolution with neural networks as a probabilistic model. It shows that $\ell_1$ loss is equivalent to a degraded likelihood function that removes the randomness from the learning process. By introducing a data-adaptive random variable, we present a new objective function that aims at minimizing the expectation of the reconstruction error over all plausible solutions. The experimental results show consistent improvements on mainstream architectures, with no extra parameter or computing cost at inference time.

研究の動機と目的

• 単一画像超解像における ℓ₁損失の限界に対処すること。これは、高分解能解が本質的に一意でないにもかかわらず、問題を1対1のマッピングとして扱う点に起因する。
• 高分解能画像を事後分布 P(y|x;W) としてモデル化し、知覚的に妥当な解の多様体を捉えること。
• 単一の正解画像にフィットするのではなく、すべての妥当な高分解能出力における期待再構成誤差を最小化すること。
• 予測された事後分布の標準偏差を用いて意味のある不確実性推定を可能にすること。
• 推論時に計算コストを追加せずに、ℓ₁損失に対して一貫した性能向上を達成すること。

提案手法

• 予測された高分解能画像 μ が、学習可能な平均 μ と標準偏差 σ を持つガウス事後分布 P(y|x;W) から抽出される確率的モデルとして超解像を定式化する。
• 事後分布からのサンプリングを可能にするデータ適応型の確率変数 z ~ N(0,1) を導入し、ネットワークが1対多のマッピングを学習可能にする。
• すべてのサンプルされた妥当な解における期待 ℓ₁ 再構成誤差を最小化する新しい損失関数を導出する：E_z[||ŷ - (μ + |ŷ - μ| * z)||₁]。
• μ（平均）と σ_pre（標準偏差）を予測する二重ブランチヘッドを採用し、σ_pre の正確な不確実性推定を促進するための別個の損失を導入する。
• 小さな残差誤差 |ŷ - μ| に対して z をマスクすることで、難易度の高いサンプルに注目するヒューリスティックを適用する。これはファーカル損失に類似しており、容易なサンプルが支配しないようにする。
• 標準的なディープラーニングフレームワークと互換性を持つエンドツーエンド学習を自動微分を用いて実装する。

実験結果

リサーチクエスチョン

• RQ1 超解像における高分解能解の非一意性をよりよく反映するために、ℓ₁損失はどのように再解釈できるか？
• RQ2 高分解能出力を事後分布としてモデル化することで、標準的な ℓ₁損失と比較して画像の忠実度が向上し、ぼやけを軽減できるか？
• RQ3 事後分布からのサンプリングを用いた1対多のマッピングを学習することで、より知覚的に現実的な結果が得られるか？
• RQ4 事後分布の予測された標準偏差は、超解像出力の信頼性の高い不確実性推定として機能できるか？
• RQ5 このアプローチは、推論時の計算コストを増加させることなく、性能を向上させることができるか？

主な発見

• 提案手法は、複数の主流の超解像アーキテクチャにおいて、標準的な ℓ₁損失と比較して一貫してPSNRと知覚的品質を向上させる。
• 予測された標準偏差 σ は、実際の残差誤差 |ŷ - μ| と強く相関しており、高品質な不確実性推定を示している。
• 単一の平均や中央値に回帰するのではなく、妥当な高分解能出力の分布を学習することで、ぼやけたアーティファクトが低減される。
• 難易度の高いサンプルのマスキングにより、再構成誤差が大きい領域に注目することで、学習の安定性と性能が向上する。
• 推論時にパラメータや計算コストを追加せずに、ℓ₁損失を上回る結果が得られる。
• 不確実性マップ σ は、誤差が大きい領域と視覚的に一致しており、解釈可能性と安全が重要な応用分野における潜在的利活用価値を示している。