[論文レビュー] Projected Regression Methods for Inverting Fredholm Integrals: Formalism and Application to Analytical Continuation

Louis-François Arsenault, Richard Neuberg+2 more|arXiv (Cornell University)|Dec 15, 2016

Atomic and Subatomic Physics Research被引用数 8

ひとこと要約

本論文は、安定な前方解のデータベースを用いて不適切に条件付けられた第一種フリードホルム積分方程式の逆問題を正則化する、機械学習に基づく投影回帰法を提案する。ノイズに強く、不確実性推定を提供する点で最大エントロピー法を上回り、量子多体系の解析的継続問題において、ギャップ構造の回復が向上し、一貫性のある不確実性評価が得られることを示している。

ABSTRACT

We present a machine learning approach to the inversion of Fredholm integrals of the first kind. The approach provides a natural regularization in cases where the inverse of the Fredholm kernel is ill-conditioned. It also provides an efficient and stable treatment of constraints. The key observation is that the stability of the forward problem permits the construction of a large database of outputs for physically meaningful inputs. We apply machine learning to this database to generate a regression function of controlled complexity, which returns approximate solutions for previously unseen inputs; the approximate solutions are then projected onto the subspace of functions satisfying relevant constraints. We also derive and present uncertainty estimates. We illustrate the approach by applying it to the analytical continuation problem of quantum many-body physics, which involves reconstructing the frequency dependence of physical excitation spectra from data obtained at specific points in the complex frequency plane. Under standard error metrics the method performs as well or better than the Maximum Entropy method for low input noise and is substantially more robust to increased input noise. We expect the methodology to be similarly effective for any problem involving a formally ill-conditioned inversion, provided that the forward problem can be efficiently solved.

研究の動機と目的

• 物理科学で一般的に見られる、小さなデータ誤差が解の大きな誤差を引き起こす第一種フリードホルム積分方程式の不適切に条件付けられた逆問題を解決すること。
• 非負性やモーメント条件などの物理的制約を尊重し、安定でノイズに強く、正則化された方法を提供すること。
• 再構築された関数の不確実性推定を可能とするフレームワークを構築し、予測の信頼性を評価できること。
• 量子多体系物理学における解析的継続問題——フリードホルム逆問題の代表的例——に対して、本手法の有効性を示すこと。
• 機械学習と統計的手法を物理的逆問題と統合し、従来の手法（例：最大エントロピー法）の実用的でスケーラブルな代替手段を提供すること。

提案手法

• 物理的に意味のある入力を用いて前方問題を安定的かつ効率的に解くことで、大規模な入出力ペアのデータベースを構築する。
• 制御された複雑さを持つカーネル回帰モデルを、データベース上で学習させることで逆写像を近似し、内在的な正則化を実現する。
• 制約付き最適化を用いて、物理的制約（例：非負性、モーメント）を満たす関数の部分空間上に、制約なしの回帰解を投影する。
• 訓練データ点からの距離に基づく補間テストを用いて、新しい入力がモデルの信頼領域内にあるかどうかを評価する。
• 外れ値予測からの残差に対して分位数回帰を適用し、不確実性推定のための点ごとの5%〜95%予測区間を計算する。
• 過学習や不安定性を制御するためのチューニングパラメータを用いて、カーネル法を用いた複雑さ制約付き学習問題として回帰を定式化する。

実験結果

リサーチクエスチョン

• RQ1 前方解のデータベースに基づく機械学習回帰手法は、不適切に条件付けられたフリードホルム積分方程式の安定的かつ正則化された逆問題を解けるか？
• RQ2 入力ノイズが増加する条件下で、本手法は最大エントロピー法と比較して、精度とロバスト性において優れているか？
• RQ3 本手法は、従来の手法が困難とする鋭い特徴やギャップを有するスペクトル関数を効果的に回復できるか？
• RQ4 特にノイズを含むデータ下で、本フレームワークを用いて信頼性のある不確実性推定が可能か、かつその解釈が可能か？
• RQ5 前方問題が安定的かつ計算的に効率的な他の逆問題へ、本手法はどの程度一般化可能か？

主な発見

• Kullback-Leibler距離指標を用いた評価において、ACwPR手法は低ノイズ条件下で最大エントロピー法と同等またはそれ以上の性能を示し、平均してMaxEntを上回る割合が51%であった。
• 高ノイズ条件下ではACwPRがMaxEntを顕著に上回り、Kullback-Leibler誤差が低いケースが81%、平均絶対誤差が低いケースが99%に達した。
• 鋭いピークと広がりのある特徴を有するスペクトル関数に対して、ACwPRは高い精度を維持し、不確実性区間が真の関数をきっちりとカバーした。一方、MaxEntは予測が広がり、信頼性が低かった。
• スペクトル関数のギャップを有する挑戦的なケースにおいて、ACwPRはゼロ領域を正しく保持したが、MaxEntはギャップ領域に予測を広げており、物理的制約を尊重できていないことを示した。
• 最低ノイズレベルにおける予測誤差は、ノイズなしデータの固有誤差と同等であり、高い忠実性と低い系統的バイアスを示した。
• 補間テストは信頼できる予測を的確に特定でき、不確実性推定は良好にキャリブレーションされており、95%予測区間が大多数のケースで真の関数をカバーした。