[論文レビュー] Iterative Amortized Hierarchical VAE

Simon W. Penninga, Ruud J. G. van Sloun|arXiv (Cornell University)|Jan 22, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

IA-HVAEは初期の amortized HVAE 推論と反復デコーダ勾配による改良を周波数分離ドメインで組み合わせ、vanilla HVAEに比べて推論を高速化し再構成を改善する。特に逆問題において顕著。

ABSTRACT

In this paper we propose the Iterative Amortized Hierarchical Variational Autoencoder (IA-HVAE), which expands on amortized inference with a hybrid scheme containing an initial amortized guess and iterative refinement with decoder gradients. We achieve this by creating a linearly separable decoder in a transform domain (e.g. Fourier space), enabling real-time applications with very high model depths. The architectural change leads to a 35x speed-up for iterative inference with respect to the traditional HVAE. We show that our hybrid approach outperforms fully amortized and fully iterative equivalents in accuracy and speed respectively. Moreover, the IAHVAE shows improved reconstruction quality over a vanilla HVAE in inverse problems such as deblurring and denoising.

研究の動機と目的

• 逆問題のための高速・正確な後方推論をハイブリッドな amortized+iterative HVAE で動機付ける。
• 各層で勾配ベースの改良を可能にする周波数領域の線形分離デコーダを導入する。
• 完全 amortized または完全 iterative 法よりも反復推論コストを削減しつつ再構成品質を向上させる。

提案手法

• 階層を通じた全バックプロパゲーションを回避できるよう transform 領域で線形デコーダを用意し、層単位の勾配アクセスを実現するHVAEを拡張する。
• 潜在空間をサブセットに分割し、各サブセットをデコーダ勾配で最適化して再構成への寄与を計算する。
• 反復改良ステップで explicit prior term と再構成損失を用いた MAP様更新を行う（式7）。
• デコーダが線形分離基底（H）上で動作するよう、画像をフーリエ領域で分解して周波数空間で生成する。
• 各層ごとに amortized 初期化を維持しつつ、トップダウンの反復的改良を実行する（アルゴリズム1）。
• AMORTIZED、ITERATIVE、HYBRID の IA-HVAE を CIFAR10 および fastMRI データセットで比較し、MSE、NLL、FID、実行時間を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全な反復 HVAE よりも高速で正確さを維持または向上できるハイブリッド amortized＋iterative HVAE は実現可能か。
• RQ2 線形の周波数領域デコーダを課すことで、二次のコストを課さずに層ごとの勾配ベースの改良が有効に機能するか。
• RQ3 IA-HVAE は実数信号と複素信号、および階層的 VAE におけるデータスケールの違いでどのように性能するか。
• RQ4 デブラーリングやデノイジングといった逆問題において、vanilla HVAE より IA-HVAE の方が有益か。

主な発見

Method	N	MSE ↓	NLL (nats/dim) ↓	FID ↓	Time (s) ↓
Amortized inference	0	18.27	0.86	31.6	0.051
Iterative inference	5	29.10*	0.43*	77.6*	0.068
Iterative inference	10	24.91*	0.65*	55.4*	0.074
Iterative inference	20	22.75	0.71	37.0	0.095
Iterative inference	25	20.54	0.73	34.5	0.103
Iterative inference	50	18.01	0.78	31.0	0.193
Hybrid inference	5	18.09	0.84	31.2	0.130
Hybrid inference	10	18.02	0.83	31.0	0.134
Hybrid inference	20	17.91	0.82	30.9	0.149
Hybrid inference	25	17.86	0.80	30.8	0.156
Hybrid inference	50	17.84	0.80	30.8	0.241
Amortized inference (fastMRI)	0	161.2	0.69	47.1	0.081
Iterative inference (fastMRI)	5	228.5*	0.44*	98.2*	0.093
Iterative inference (fastMRI)	10	192.4*	0.48*	87.3*	0.102
Iterative inference (fastMRI)	20	155.6	0.60	46.5	0.131
Iterative inference (fastMRI)	25	148.2	0.61	45.9	0.192
Iterative inference (fastMRI)	50	145.0	0.59	45.5	0.293
Hybrid inference (fastMRI)	5	158.2	0.65	47.0	0.162
Hybrid inference (fastMRI)	10	153.3	0.62	46.4	0.169
Hybrid inference (fastMRI)	20	149.6	0.61	46.1	0.186
Hybrid inference (fastMRI)	25	148.2	0.60	45.9	0.192
Hybrid inference (fastMRI)	50	145.0	0.59	45.5	0.293

• IA-HVAE は深いネットワークで vanillas HVAE に比べ反復推論を最大35xの高速化を達成。
• Hybrid IA-HVAE は amortized HVAE より推論品質を一貫して改善し、反復 HVAE の性能に近づくか同等になりつつ時間を短縮。
• CIFAR10 では、hybrid IA-HVAE が複数の反復回数で amortized または純粋な反復法よりも低い MSE を達成し、NLL および FID も競合的。
• fastMRI では、IA-HVAE の hybrid 推論が、完全な反復法と比較して同等以下の時間でより良い MSE および NLL、同等かそれ以上の FID を実現。
• 逆問題（デブラーリングおよびデノイジング）において、IA-HVAE は vanilla HVAE より優れた再構成を生み出し、アモタイズ推論が機能しなくなるときデータマニフォールドへ latent ベクトルを戻す。
• 周波数領域条件付けの視覚化は、IA-HVAE デコーダ構造によって周波数ごとに階層的生成が制御されることを示す。