[論文レビュー] Learning Proposals for Probabilistic Programs with Inference Combinators

Sam Stites, Heiko Zimmermann+3 more|arXiv (Cornell University)|Mar 1, 2021

Machine Learning and Algorithms参考文献 59被引用数 6

ひとこと要約

この論文は、確率的プログラミングにおける適切に重み付けされた重要度サンプリングの構築を可能にする、合成可能でユーザーがプログラミング可能な演算子である推論コンビネータを導入する。変分目的関数を通じたニューラルプロポーザル学習を可能にすることで、正しく構築されたアンモタイズド推論手法をサポートし、冷却法やギブスサンプリングといった高度な技術によって実証される。

ABSTRACT

We develop operators for construction of proposals in probabilistic programs, which we refer to as inference combinators. Inference combinators define a grammar over importance samplers that compose primitive operations such as application of a transition kernel and importance resampling. Proposals in these samplers can be parameterized using neural networks, which in turn can be trained by optimizing variational objectives. The result is a framework for user-programmable variational methods that are correct by construction and can be tailored to specific models. We demonstrate the flexibility of this framework by implementing advanced variational methods based on amortized Gibbs sampling and annealing.

研究の動機と目的

• 構造的確率的モデルにおける柔軟で再利用可能かつ正しい推論戦略を設計する課題に対処すること。
• モデル固有の構造的依存関係のため、確率的プログラミングシステムにおいて高度なMCMCおよび重要度サンプリング手法を実装することが難しいという困難を克服すること。
• 推論コンビネータの文法を形式化することで、有効なサンプラーを構成する合成可能な演算子として、ユーザーがプログラミング可能な変分推論を可能にすること。
• 変分目的関数を用いてニューラルプロポーザルネットワークのエンドツーエンド学習を支援し、複雑なモデルにおける事後分布の近似を改善すること。
• 冷却法やギブスベースのサンプラーといった最先端の推論手法を実装することで、フレームワークの柔軟性を実証すること。

提案手法

• 遷移核、プロポーザルの割り当て、重要度リサンプリングといった基本的演算を合成可能な第一級の構文的構成要素として推論コンビネータを定義する。
• すべてのコンビネータによって生成されるサンプラーが、ターゲット密度の下で適切に重み付けされたサンプルを生成することを保証する意味論を形式化する。
• 変分目的関数を介して微分可能な学習が可能になるように、ニューラルネットワークをパラメータ化されたプロポーザルとしてコンビネータフレームワークに統合する。
• 真の事後分布と学習済みプロポーザル分布の間のKLダイバージェンスを最小化するために、ネストド変分推論を用いる。
• 制御フロー、再帰、高階関数を備えた、条件付き密度が扱いやすいProbabilistic Torchにフレームワークを実装する。
• 動画オブジェクトトラッキング用に特別なプロポーザルネットワークを設計し、畳み込み処理とMLPエンコーダーを用いて位置とオブジェクト特徴の推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、重要度サンプリングにおける正しさを保証する、合成可能でユーザーが拡張可能な推論戦略の言語を設計できるか？
• RQ2 推論コンビネータは、冷却法やギブスサンプリングといった高度な変分推論手法を、原理的かつ整合的に実装可能か？
• RQ3 変分目的関数を用いて学習されたニューラルプロポーザルネットワークは、構造的確率的プログラミングにおける事後分布近似をどの程度改善できるか？
• RQ4 訓練分布を超えて、異なるオブジェクト数や時間ステップ数を有するモデルへ一般化する際、このフレームワークはどの程度有効か？
• RQ5 再構築されたオブジェクト画像に条件づけられたプロポーザル（例：畳み込み特徴を介して）を用いることで、時系列モデリングタスクにおける推論品質にどのような影響を与えるか？

主な発見

• 推論コンビネータフレームワークにより、すべての構築されたサンプラーがターゲット密度の下で適切に重み付けされたものとなり、構築の過程で正しさが保証される。
• フレームワークは冷却法やアンモタイズドギブスサンプリングといった高度な推論手法を成功裏に実装し、標準的な変分推論をはるかに超える柔軟性を示した。
• 変分目的関数を用いて学習されたプロポーザルは、D=5個のオブジェクトおよびT=100ステップのテストインスタンスに対しても一般化でき、訓練設定（D=3、T=10）を上回る性能を示した。
• 再構築されたオブジェクト画像（畳み込み特徴を介して）に条件づけられた条件付きプロポーザルは、動画シーケンスにおけるオブジェクト位置の局所化精度を向上させた。
• 空間的トランスフォーマーを用いて予測された位置に基づいてフレームをクロップすることで、オブジェクト表現学習のための効果的な特徴抽出が可能になった。
• プロポーザルパラメータ用のMLPエンコーダー構造は、階層的特徴処理と非線形変換を経由することで、安定した学習と効果的な事後分布近似を実現した。