[論文レビュー] Correlated signal inference by free energy exploration

T. A. Enßlin, Jakob Knollmüller|arXiv (Cornell University)|Dec 26, 2016

Gaussian Processes and Bayesian Inference被引用数 2

ひとこと要約

本稿は、情報場理論（IFT）における自由エネルギー探索（FrEE）戦略を導入し、信号場とその未知の相関構造を同時に推定する相関信号推定（CSI）問題を解決する。ノイズのない場のマージナル化を伴わないギブス自由エネルギー形式を活用することで、FrEEは信号の平均値、不確実性、相関構造を同時に推定する。正規分布、対数正規分布、ポアソン対数正規分布のモデルに対してNIFTyを用いた実装により、従来の手法に比べて精度と効率が向上したことが示された。

ABSTRACT

The inference of correlated signal fields with unknown correlation structures is of high scientific and technological relevance, but poses significant conceptual and numerical challenges. To address these, we develop the correlated signal inference (CSI) algorithm within information field theory (IFT) and discuss its numerical implementation. To this end, we introduce the free energy exploration (FrEE) strategy for numerical information field theory (NIFTy) applications. The FrEE strategy is to let the mathematical structure of the inference problem determine the dynamics of the numerical solver. FrEE uses the Gibbs free energy formalism for all involved unknown fields and correlation structures without marginalization of nuisance quantities. It thereby avoids the complexity marginalization often impose to IFT equations. FrEE simultaneously solves for the mean and the uncertainties of signal, nuisance, and auxiliary fields, while exploiting any analytically calculable quantity. Finally, FrEE uses a problem specific and self-tuning exploration strategy to swiftly identify the optimal field estimates as well as their uncertainty maps. For all estimated fields, properly weighted posterior samples drawn from their exact, fully non-Gaussian distributions can be generated. Here, we develop the FrEE strategies for the CSI of a normal, a log-normal, and a Poisson log-normal IFT signal inference problem and demonstrate their performances via their NIFTy implementations.

研究の動機と目的

• 相関構造が事前に未知である場合の相関信号場の推定という課題に対処すること。
• ノイズのない場のマージナル化を行わないで、信号場、その不確実性、相関パラメータを同時に高精度かつ数値的に効率よく推定する手法を開発すること。
• 信号再構築プロセスに相関構造の不確実性を組み込むことで、既存のIFT手法を拡張すること。
• ガウス分布、対数正規分布、ポアソン対数正規分布の尤度関数を含む、多様な統計的モデルに適用可能な統一されたCSIフレームワークを提供すること。

提案手法

• FrEE戦略はギブス自由エネルギー形式を用い、信号場、相関構造、補助場の間の共同推定問題を定式化し、ノイズパラメータのマージナル化を回避する。
• ガウス分布、対数正規分布、ポアソン対数正規分布の尤度関数を含む、観測データ、事前知識、尤度モデルをすべて情報ハミルトニアンに組み込む。
• 自由エネルギーの関数的微分を用いて事後分布の平均と分散を導出し、信号と相関の不確実性を同時に推定可能にする。
• トレースに基づく量（対角成分や調和空間の不確実性）を推定するために確率的プローブ技術を用い、物理的制約を満たすためにクリッピング処理を実施する。
• NIFTy（信号推定のための数値ライブラリ）に実装されており、高次元で複雑な問題に対してもスケーラブルかつ柔軟に適用可能である。
• 自由エネルギーの数学的構造に従って、フィールド推定値を動的に更新することで、統計モデルの内在的整合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのない相関パラメータのマージナル化を伴わず、信号と相関構造を統計的に整合的に同時に推定する方法は何か？
• RQ2 相関の不確実性が信号再構築の精度と信頼性に与える影響は何か？
• RQ3 自由エネルギー形式を、対数正規分布やポアソン対数正規分布のような非ガウス尤度関数に対応させるにはどうすればよいか？
• RQ4 FrEE戦略は、相関信号推定において、従来のギブスサンプリングや変分推論手法に比べ、収束速度と精度の面で優れているか？
• RQ5 高次元のフィールド不確実性やトレースに基づく演算子を、複雑なIFT問題において効率的に計算するにはどのような数値戦略が必要か？

主な発見

• FrEE戦略は、信号場とその未知の相関構造を同時に推定でき、両者の不確実性の定量的評価も正確に実現した。
• すべてのフィールドを自由エネルギー形式に保持することで、マージナル化に伴う計算負荷を回避し、より正確で安定した推定を実現した。
• 正規分布、対数正規分布、ポアソン対数正規分布の各モデルにおいて、FrEEは適切に相関不確実性を最終推定値に伝播させ、高精度な信号再構築を達成した。
• NIFTyを用いた数値実験により、FrEEは信頼性高く収束し、非負の不確実性や有界な相関推定値を強制するなど、物理的整合性を維持した。
• トレース推定に用いられる確率的プローブ技術により、高次元の設定でもフィールド不確実性のスケーラブルな計算が可能になった。
• NIFTyへの実装により、天文学、地球物理学、データサイエンス分野の多様な実世界問題への柔軟かつ効率的な応用が可能になった。