[論文レビュー] Trumpets: Injective Flows for Inference and Inverse Problems

Konik Kothari, AmirEhsan Khorashadizadeh+2 more|arXiv (Cornell University)|Feb 20, 2021

Generative Adversarial Networks and Image Synthesis参考文献 38被引用数 6

ひとこと要約

この論文では、低次元の潜在空間から次第に次元を増加させる、新しいクラスの単射正規化フローであるTrumpetsを紹介する。これにより、高速なトレーニングと正確な尤度評価が可能になる。単射結合層と二段階のトレーニング方式を組み合わせることで、標準的なフローと同等の生成モデル性能を達成しながら、トレーニング時間が数個のオーダー短縮され、圧縮センシングや限界角度CTのような逆問題における効率的なベイズ推論と不確実性評価が可能になる。

ABSTRACT

We propose injective generative models called Trumpets that generalize invertible normalizing flows. The proposed generators progressively increase dimension from a low-dimensional latent space. We demonstrate that Trumpets can be trained orders of magnitudes faster than standard flows while yielding samples of comparable or better quality. They retain many of the advantages of the standard flows such as training based on maximum likelihood and a fast, exact inverse of the generator. Since Trumpets are injective and have fast inverses, they can be effectively used for downstream Bayesian inference. To wit, we use Trumpet priors for maximum a posteriori estimation in the context of image reconstruction from compressive measurements, outperforming competitive baselines in terms of reconstruction quality and speed. We then propose an efficient method for posterior characterization and uncertainty quantification with Trumpets by taking advantage of the low-dimensional latent space.

研究の動機と目的

• 標準的な正規化フローは双射であり、全次元の潜在空間を必要とするが、そのトレーニングにかかる計算コストを低減すること。
• 正確な可逆性と尤度評価を維持しながら、トレーニング時間を著しく短縮する生成モデルの開発。
• 低次元の潜在空間を用いることで、不適切な逆問題における効率的なベイズ推論と不確実性評価を可能にすること。
• 生成モデルの高速かつ正確な逆変換と尤度計算を可能にする単射フローを活用し、画像再構成などの下流タスクに応用すること。
• 圧縮センシングや限界角度コンピュータ断層撮影のような実世界の逆問題において、Trumpetsの有効性を実証すること。

提案手法

• 低次元の潜在空間から高次元のデータ空間への写像を保証する単射結合層を提案し、構成上単射性を確保する。
• 高速かつ解析的な逆変換と取り扱いやすいヤコビアン行列式を備えた層を設計し、効率的な尤度計算を可能にする。
• 二段階のトレーニング手順を採用：まず単射フロー部をトレーニングし、次にその出力領域上で双射変換を共同最適化する。
• トレーニング済みのTrumpet生成器をベイズ逆問題における事前分布として適用し、投影勾配降下法を用いた最大後確信度（MAP）推定を実現する。
• 低次元の潜在空間で変分推論を用いて事後分布を近似することで、不確実性評価を実施する。
• 生成器の高速な逆変換を活用し、最適化中に投影を効率的に計算することで、計算オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 標準的な正規化フローと比較して、トレーニング時間を著しく短縮しつつも、高速な逆変換と取り扱いやすい尤度を維持できる単射フローは設計可能か？
• RQ2 低次元の潜在空間を用いた単射フローは、圧縮センシングや限界角度トモグラフィーにおいて、再構成品質と速度を向上させることができるか？
• RQ3 低次元の潜在空間を持つ生成的事前分布を用いる場合、逆問題における不確実性評価をどのように効率的に行えるか？
• RQ4 標準的なフローと比較して、トレーニング時間を数個のオーダー短縮しつつも、生成品質を十分に保持できるか？
• RQ5 単射フローのアーキテクチャは、不適切な逆問題における正確な尤度評価と効率的なMAP推定をサポートできるか？

主な発見

• Trumpetsは、Glowのような標準的な正規化フローと比較して、CelebAデータセットにおいて同等またはそれ以上のサンプル品質を達成しながら、最大で数個のオーダーの高速なトレーニングを実現した。
• モデルは正確な尤度評価と高速かつ正確な逆変換を実現しており、ベイズ推論パイプラインでの効率的利用を可能にした。
• 圧縮センシングおよび限界角度CTにおいて、Trumpetを用いたMAP推定は、性能の優れたベースラインと比較して、再構成品質と速度の両面で優れた結果を示した。
• 低次元の潜在空間における事後分布の近似により、物理的直感に合致する意味のある空間領域および周波数領域の不確実性パターンが得られた。
• 事後分布の平均絶対偏差のフーリエスペクトルから、限界視野CTにおける欠落した角度に対応する不確実性の増加を示す円錐領域が明確に観察され、手法の解釈可能性が裏付けられた。
• 低次元の潜在空間により、変分事後分布の近似が効率的に行えるようになり、全空間法と比較して著しく計算コストが削減された。