[論文レビュー] Autoconj: Recognizing and Exploiting Conjugacy Without a Domain-Specific Language

Matthew D. Hoffman, Matthew Johnson+1 more|arXiv (Cornell University)|Nov 29, 2018

Machine Learning and Algorithms被引用数 5

ひとこと要約

Autoconj は、対数結合密度を計算する Python 関数に直接作用させることで、確率的モデルにおける共役性の認識と活用を自動化し、ドメイン固有言語を必要とせずに完全条件付き分布や周辺分布を効率的に導出可能にする。この手法は、任意の Python 埋め込み確率的プログラミング言語（PPL）における構造を活用する推論アルゴリズムを加速し、TensorFlow 結合による GPU での性能向上が最大 10 倍に達する。

ABSTRACT

Deriving conditional and marginal distributions using conjugacy relationships can be time consuming and error prone. In this paper, we propose a strategy for automating such derivations. Unlike previous systems which focus on relationships between pairs of random variables, our system (which we call Autoconj) operates directly on Python functions that compute log-joint distribution functions. Autoconj provides support for conjugacy-exploiting algorithms in any Python embedded PPL. This paves the way for accelerating development of novel inference algorithms and structure-exploiting modeling strategies.

研究の動機と目的

• 共役性を用いた完全条件付き分布および周辺分布の自動導出により、手動による導出ミスや開発時間を削減すること。
• ドメイン固有言語を必要とせずに、任意の Python 埋め込み確率的プログラミング言語（PPL）における共役性活用推論アルゴリズムを可能にすること。
• 対数結合関数のシンプルな Python API を通じて共役構造を公開することで、効率的で合成可能な推論を支援すること。
• 自動共役性検出を活用して、新規推論アルゴリズムや構造に配慮したモデリングに関する研究を加速すること。

提案手法

• Autoconj は、対数結合密度を計算する Python 関数に直接作用させ、それらを解析の対象として第一級オブジェクトとして扱う。
• 共役関係は、主に十分統計量における対数結合関数の多項式的表現としての代数的構造を分析することで同定される。
• システムは、対数結合関数の記号的変形を用いて完全条件付き分布および周辺分布を導出し、導出された分布を実装する新しい Python 関数を返す。
• NumPy や TensorFlow を含む複数の数値バックエンドとの統合をサポートし、自動的な演算変換により GPU 加速を実現する。
• Autoconj は、対数結合関数から自動的に条件付き分布を生成することで、ブロック座標昇下変分推論（CAVI）およびギブスサンプリングを可能にする。
• Autograd や scipy からの自動微分および最適化ツールを活用して、推論性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有言語を必要とせずに、確率的モデルにおける共役関係を自動的に認識および活用できるか？
• RQ2 一般用途の Python 埋め込み確率的プログラミング言語に共役性検出を統合する方法は何か？
• RQ3 CAVI やギブスサンプリングのような推論アルゴリズムにおける共役性活用の自動化によって、どの程度の性能向上が達成できるか？
• RQ4 Autoconj は、GPU や TPU のようなハードウェア加速とどの程度スケーリングできるか？

主な発見

• Autoconj は、指数型分布族モデルにおける完全条件付き分布および周辺分布の手動導出にかかる時間とミス率を著しく削減する。
• システムは、対数結合関数から正しい条件付き分布を自動生成することで、効率的なブロック座標昇下変分推論（CAVI）およびギブスサンプリングを可能にする。
• 混合正規分布モデルにおいて、Autoconj と TensorFlow を GPU で使用した場合、500 イテレーションで 4.3 秒で推論が完了し、CPU 僅かな NumPy に比べて 10 倍の高速化を達成した。
• Autoconj の性能はハードウェアに強く依存しており、6 コア CPU で 19.7 秒、1 GPU で 4.3 秒の実行時間となり、並列処理の恩恵が顕著に現れた。
• システムはベイズ要因分析における構造活用推論を成功裏にサポートし、平均場 ADVI よりも精度と収束速度の両面で優れている。
• Autoconj は、自動微分や最適化ライブラリを含む既存の Python エコシステムとシームレスに統合可能であり、新規推論アルゴリズムの迅速なプロトタイピングを可能にする。