[論文レビュー] Explicitly Minimizing the Blur Error of Variational Autoencoders

Gustav Bredell, Kyriakos Flouris+3 more|arXiv (Cornell University)|Apr 12, 2023

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

論文は、フーリエ領域での再構成誤差を Wiener-deconvolution に触発されたカーネルで重み付けすることでブラー誤差を明示的にターゲットにする再構成項を提案しつつ、ELBO の最適化を維持する。

ABSTRACT

Variational autoencoders (VAEs) are powerful generative modelling methods, however they suffer from blurry generated samples and reconstructions compared to the images they have been trained on. Significant research effort has been spent to increase the generative capabilities by creating more flexible models but often flexibility comes at the cost of higher complexity and computational cost. Several works have focused on altering the reconstruction term of the evidence lower bound (ELBO), however, often at the expense of losing the mathematical link to maximizing the likelihood of the samples under the modeled distribution. Here we propose a new formulation of the reconstruction term for the VAE that specifically penalizes the generation of blurry images while at the same time still maximizing the ELBO under the modeled distribution. We show the potential of the proposed loss on three different data sets, where it outperforms several recently proposed reconstruction losses for VAEs.

研究の動機と目的

• 標準的な VAE が生成するぼやけた生成サンプルと再構成を addressingする。
• ELBO フレームワークを壊さずにブラーを明示的にペナルティする再構成損失を開発する。
• 計算効率を維持しつつ画像ごとのブラー適応を可能にする。
• 複数データセットでよりシャープな再構成と知覚品質の向上を示す。

提案手法

• フーリエ領域で再構成誤差をモデル化してブラー誘起成分を特定する。
• Wiener-deconvolution に触発された重み W を周波数領域の F(k) の形で近似し、高周波ブラー誤差を強調する。
• 各入力画像に対してブラーカーネル k を推定する per-image カーネル予測器 G_gamma(z) を用いる。
• フーリエ領域の再構成項を共分散行列 Sigma_k を持つ多変量ガウス尤度に結びつけ、循環行列を用いて行列式を計算する。
• 交互最適化: (i) Sigma_k が z に依存する再重み付け再構成項を用いた ELBO、(ii) x * G_gamma(z) - x_hat_theta を最小化するようカーネル予測器 G_gamma(z) を更新する。
• Wiener フィルタに小さな定数 C を導入して最適化を安定化し、epsilon で正則化されたカーネル K(epsilon) を提供する仕組み。

実験結果

リサーチクエスチョン

• RQ1 ブラーを明示的にターゲットにする再構成損失は、尤度ベースの訓練を損なうことなく VAE のシャープさを改善できるか。
• RQ2 画像ごとにブラーカーネル推定器を用いると、固定またはグローバルなカーネルと比べてシャープ化が向上するか。
• RQ3 学習のために誘導された共分散の行列式を効率的に計算することは可能か。
• RQ4 提案されたブラー中心の損失は自然画像領域と医用画像領域の両方でどのように性能を示すか。
• RQ5 Wiener フィルタベースの重み付けとカーネルサイズは再構成と生成品質にどのような影響を与えるか。

主な発見

• 提案されたブラー中心の再構成項は、いくつかの再構成損失と比較してシャープな再構成と知覚指標の改善を示す。
• per-image ブラーカーネル推定（G_gamma(z)）は固定 Sigma 設定よりも優れており、特にカーネル重み epsilon が大きい場合に顕著。
• CelebA (64×64 および 256×256) および MRI 脳断層データ (HCP) における再構成品質と生成指標で強い性能向上を示す。
• 自然画像だけでなく医用画像にも適用可能で、ドメイン特有の再訓練なしに効果的に拡張できる。
• 安定した訓練を確保するため、Sigma_inverse を恒等行列に設定した初期の自由分散フェーズを経て学習された Sigma_k へ切り替える実用的な最適化戦略。
• 定量的結果は再構成の知覚指標（例: LPIPS、FID）とシャープネスの改善を示し、生成品質も競争力があるか向上している。