[論文レビュー] CUQIpy: I. Computational uncertainty quantification for inverse problems in Python

Nicolai A. B. Riis, Amal Alghamdi+5 more|arXiv (Cornell University)|May 26, 2023

Gaussian Processes and Bayesian Inference参考文献 53被引用数 4

ひとこと要約

CUQIpy は、ベイズフレームワークを用いた逆問題における計算的不確実性評価（UQ）のためのオープンソース Python パッケージです。ユーザーは直感的な構文で逆問題をモデル化でき、自動的に最適なサンプリング戦略を選択し、PyTorch や FEniCS といったライブラリとの統合により、CT や画像のぼかし除去などの大規模な画像処理応用に対して、構造に配慮した効率的なサンプリングを実現します。

ABSTRACT

This paper introduces CUQIpy, a versatile open-source Python package for computational uncertainty quantification (UQ) in inverse problems, presented as Part I of a two-part series. CUQIpy employs a Bayesian framework, integrating prior knowledge with observed data to produce posterior probability distributions that characterize the uncertainty in computed solutions to inverse problems. The package offers a high-level modeling framework with concise syntax, allowing users to easily specify their inverse problems, prior information, and statistical assumptions. CUQIpy supports a range of efficient sampling strategies and is designed to handle large-scale problems. Notably, the automatic sampler selection feature analyzes the problem structure and chooses a suitable sampler without user intervention, streamlining the process. With a selection of probability distributions, test problems, computational methods, and visualization tools, CUQIpy serves as a powerful, flexible, and adaptable tool for UQ in a wide selection of inverse problems. Part II of the series focuses on the use of CUQIpy for UQ in inverse problems with partial differential equations (PDEs).

研究の動機と目的

• 科学的・工学的分野における大規模な逆問題におけるスケーラブルでアクセス可能な不確実性評価の需要が高まる中、これを満たすための取り組み。
• 専門家がサンプリングおよび計算手法の完全な制御を可能にしつつも、非専門家がベイズ的逆問題をモデル化できる使いやすいが拡張性のあるフレームワークの提供。
• 線形性や分布的関係性といった問題構造に適合した高度なサンプリング戦略を提供することで、理論的 UQ と実装のギャップを埋める。
• 現代の配列ライブラリ（例：PyTorch）やサードパーティツールとの相互運用性を実現するため、プラグインアーキテクチャを採用し、パフォーマンスと柔軟性を向上。
• 医用画像や地球科学分野などの実世界応用における UQ の採用を促進するため、組み込みのテスト問題、可視化ツール、効率的な計算パイプラインを提供。

提案手法

• 逆問題をベイズフレームワーク内で定式化し、事前知識とノイズを含む観測データを組み合わせて事後分布を生成する。
• 数学的表記に近く、直感的な構文を備えたハイレベルなモデリングインターフェースを採用し、確率的変数や階層モデルを簡潔に定義可能にする。
• 問題構造を分析して最適なサンプリング手法（例：NUTS、ハミルトニアンモンテカルロ）を自動的に選択する `BayesianProblem` クラスを統合し、ユーザーの干渉なしに最適な戦略を適用。
• 配列に依存しない計算を実現し、NumPy や PyTorch などのバックエンドをシームレスに利用可能にすることで、GPU 加速と自動微分を可能にする。
• CIL（CT 用）、FEniCS（有限要素用）、PyTorch（自動微分用）などの外部ライブラリを拡張可能にするためのプラグインシステムを提供。
• 勾配情報を利用した No-U-Turn サンプラー（NUTS）を含む高度なサンプリング技術を採用し、高次元空間における複雑な事後分布を効率的に探索。

Figure 1 : Figures generated by CUQIpy ’s automatic UQ analysis of the built-in 2D deconvolution test problem Deconvolution2D with a blurred cookie. Far left: True sharp image. Middle left: Observed blurred and noisy image. Middle right: Deblurred image (posterior mean). Far right: Quantification of

実験結果

リサーチクエスチョン

• RQ1 大規模な逆問題における不確実性評価を支援する統一的でアクセス可能かつ拡張可能なソフトウェアフレームワークをどのように設計できるか？
• RQ2 非専門家ユーザーの使いやすさとパフォーマンス向上に寄与する自動サンプラー選択の役割は何か？
• RQ3 専門家ユーザーが高レベルの抽象化と低レベルの制御の両方を満たす確率的プログラミングインターフェースをどのように設計できるか？
• RQ4 現代の計算バックエンド（例：PyTorch）との統合が、UQ ワークフローにおけるパフォーマンスとスケーラビリティをどの程度向上できるか？
• RQ5 モジュラーなプラグインアーキテクチャは、医用画像や PDE 約束問題のような多様な応用分野への UQ ライブラリの拡張を効果的に可能にするか？

主な発見

• CUQIpy は、数学的表記に近い直感的な構文を用いることで、最小限のコードでベイズ的逆問題をモデル化・解決することが可能である。
• 自動サンプラー選択機能により、問題構造に基づいて適切なサンプリング戦略（例：NUTS）を効果的に特定・適用でき、ユーザーの負担を軽減するとともに信頼性を向上させる。
• Pyro ベースの `cuqipypyTorch` プラグインを用いることで、8 つの学校問題のような複雑な階層モデルについて、1000 個の事後サンプルと 500 個のウォームアップサンプルを効率的に同時サンプリング可能。
• 8 つの学校問題における平均処置効果は 5.6、標準偏差は 12.7 と推定され、既存のソフトウェアの結果と整合的で、フレームワークの正確性を裏付ける。
• PyTorch との統合により、自動微分と GPU 加速が可能となり、大規模問題におけるパフォーマンスが顕著に向上。
• さまざまな確率分布、計算手法、可視化ツール（事後分析のためのバイオリンプロットを含む）をサポートしており、解釈可能性と再現性が向上。