[論文レビュー] Encoding prior knowledge in the structure of the likelihood

Jakob Knollmüller, T. A. Enßlin|arXiv (Cornell University)|Dec 11, 2018

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

本稿では、事前知識を尤度構造に埋め込むことで階層ベイジアンモデルを再構造する非線形的で決定論的な変換を提案する。この手法により、深い階層構造が独立した標準正規事前分布にフラット化される。多次元分布変換を適用し、逆累積分布関数（CDF）マッピングを経て、パラメータを事前に独立化することで、高速で良好に条件付けられた変分推論が可能になる。特にデータが少ない状況で顕著な効果を示し、元のモデルと統計的に同等の性能を維持する。

ABSTRACT

The inference of deep hierarchical models is problematic due to strong dependencies between the hierarchies. We investigate a specific transformation of the model parameters based on the multivariate distributional transform. This transformation is a special form of the reparametrization trick, flattens the hierarchy and leads to a standard Gaussian prior on all resulting parameters. The transformation also transfers all the prior information into the structure of the likelihood, hereby decoupling the transformed parameters a priori from each other. A variational Gaussian approximation in this standardized space will be excellent in situations of relatively uninformative data. Additionally, the curvature of the log-posterior is well-conditioned in directions that are weakly constrained by the data, allowing for fast inference in such a scenario. In an example we perform the transformation explicitly for Gaussian process regression with a priori unknown correlation structure. Deep models are inferred rapidly in highly and slowly in poorly informed situations. The flat model show exactly the opposite performance pattern. A synthesis of both, the deep and the flat perspective, provides their combined advantages and overcomes the individual limitations, leading to a faster inference.

研究の動機と目的

• 強いパラメータ依存性による数値的不安定性と収束の遅さを解消する。
• 高次元で深く構造化されたモデルにおける変分推論の限界を、標準化された空間に再パrameter化することで克服する。
• 変換によりパラメータの事前依存性を事前に独立化し、統計的モデル同等性を維持する。
• データが不足する（データが少ない）状況でも高速な推論を可能にするために、変換空間における対数後確率の曲率を良好に条件付けする。
• 深く構造化されたモデルとフラットなモデルの両方の視点を交互に用いる推論により、個々のモデルの限界を補完する。

提案手法

• 元の階層的パラメータを独立した一様分布変数に変換するため、多次元分布変換を適用する。
• 事前分布の逆累積分布関数（CDF）を用いて、一様変数を平均0、分散1の標準正規変数にマッピングする。
• 白色正規変数から元のモデルパラメータへの非線形的で決定論的な変換を構築し、すべての事前知識を尤度構造に埋め込む。
• 標準化された空間で変分推論を実行し、ガウス近似を用いる。データが情報が乏しい場合には、この近似が極めて高精度になる。
• 弱い制約がかかる方向における対数後確率の良好な曲率を活用し、情報が少ない状況での収束を加速する。
• さまざまなデータ環境下で、元の深く構造化されたモデルと変換後のフラットモデルの推論性能を比較し、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 深く階層的なベイジアンモデルにおける事前知識を、どのように尤度構造に体系的に埋め込むことができるか？
• RQ2 標準化されたガウスパラメータ空間に変換することで、変分推論の条件付けと収束性にどのような影響を与えるか？
• RQ3 どのデータ環境下で変換後のフラットモデルが元の深層モデルを上回り、逆にどの環境で元のモデルが優れるか？
• RQ4 深層モデルとフラットモデルの両方の視点を交互に用いることで、個々の限界を克服し、全体的な性能を向上させることができるか？
• RQ5 変換空間における対数後確率の曲率はどのように振る舞い、数値的安定性と速度にどのような意味を持つのか？

主な発見

• 変換によりパラメータが事前に独立化され、変換空間では独立した標準正規事前分布が得られ、変分推論が簡素化される。
• データが少ない状況では、弱い制約がかかる方向における良好な曲率のおかげで、変換後のフラットモデルが高速かつ高精度な推論を達成する。
• データが多い状況では、元の深層モデルが制約が強い方向で良好に条件付けられているため、より優れた性能を示すが、フラットモデルは困難をきたす。
• 変換が決定論的かつ可逆であるため、元のモデルと統計的に同等の性能を維持し、情報損失がない。
• 数値的スキームにおいて深層モデルとフラットモデルの両方の視点を交互に用いることで、あらゆるデータ環境下で収束が速くなり、性能が向上する。
• 未知の相関構造をもつガウス過程回帰では、変換によりパワースペクトル事前分布が尤度構造に埋め込まれ、効率的な推論が可能になる。