[論文レビュー] Deep Probabilistic Programming Languages: A Qualitative Study

Guillaume Baudart, Martin Hirzel+1 more|arXiv (Cornell University)|Apr 17, 2018

Machine Learning and Data Classification参考文献 22被引用数 8

ひとこと要約

本論文は、深層確率的プログラミング言語の代表格であるEdwardとPyroの定性的比較研究を提供し、それらの設計、使いやすさ、深層学習と確率的モデリングを統合する際の表現力について分析している。抽象化の漏れ、簡潔さ、推論の拡張性に関する主な課題を特定するとともに、合成可能性、不確実性モデリング、階層的表現学習における強みを強調している。

ABSTRACT

Deep probabilistic programming languages try to combine the advantages of deep learning with those of probabilistic programming languages. If successful, this would be a big step forward in machine learning and programming languages. Unfortunately, as of now, this new crop of languages is hard to use and understand. This paper addresses this problem directly by explaining deep probabilistic programming languages and indirectly by characterizing their current strengths and weaknesses.

研究の動機と目的

• 研究者や実務家が深層確率的プログラミングに参入する障壁を下げるために、EdwardとPyroの明確でコード中心の比較を提供すること。
• 深層PPLの現在の強みと弱みを特定・特徴づけること、特に言語設計、抽象化、使いやすさの観点から。
• 表現力、簡潔さ、きめの細かい抽象化、小規模データ学習および高精度学習のサポートにおけるギャップを浮き彫りにすることで、今後の研究を導くこと。
• 深層PPLを、確率的プログラミング、深層学習、プログラミング言語の原則の有望な統合として位置づけ、解釈可能性と不確実性モデリングに焦点を当てる。

提案手法

• TensorFlow上で構築されたEdwardと、PyTorch上で構築されたPyroを、深層PPLの代表例として選び、一貫した用語法を用いた両言語のコード例を提示。
• 比較的チュートリアル的な手法を採用し、段階的に複雑化するモデルを両言語で提示することで、構文、制御フロー、抽象化の違いを浮き彫りにする。
• 動的制御構造（例：ループや条件分岐）のサポートといった言語レベルの機能を分析し、Edwardの静的計算グラフと対比して、PyTorchの動的計算グラフの利点を評価。
• 抽象化の質を評価するため、深層PPLが低レベルの実装詳細（特にテンソルの次元）をどれだけうまく隠しているかを検証。
• 変分推論における事前分布とガイドの役割を比較し、モデルとガイド定義の冗長性と構造の明確さを評価。
• モデルと推論手順の合成可能性を評価し、特にEdwardがモデルと推論アルゴリズムの両方の合成をサポートしている点に注目。

実験結果

リサーチクエスチョン

• RQ1 EdwardとPyroは、確率的モデルにおけるループや条件分岐といった動的制御構造を、どのようにサポートしているか。
• RQ2 深層PPLは、どの程度きめの細かい抽象化を提供しており、低レベルの実装詳細（例：テンソルの次元）がユーザーのコードに漏れ出るのを防いでいるか。
• RQ3 EdwardとPyroの設計的選択が、確率的モデルやガイドの簡潔さと可読性にどのように影響しているか。
• RQ4 理論的には可能であるにもかかわらず、深層PPLが小規模データ学習や高精度学習をサポートする点で、現在どのような制限を抱えているか。
• RQ5 深層PPLは、確率的モデリングの長所（不確実性、解釈可能性）と深層学習の長所（自動特徴抽出、スケーラビリティ）を、どのようによりよく統合できるか。

主な発見

• Pyroは、PyTorchの動的計算グラフに根ざしているため、ループや条件分岐といったネイティブなPython制御構造を、Edwardよりも自然にサポートしている。
• EdwardはTensorFlowの静的計算グラフに依存しているため、動的制御フローを埋め込むには特別なAPIを必要とし、その構文は冗長で直感的でない。
• 両方の言語とも抽象化の漏れを抱えている：エラーメッセージは次元不一致の原因を曇らせやすく、計算グラフ内では変数名が消失するためデバッグが困難である。
• モデルとガイドの記述においては、EdwardはPyroよりも簡潔であるが、Pyroの関数やクラスの使用により構造が明確になり、コルーチンベースの効率的推論が可能になっている。
• Turing完全であるにもかかわらず、Edwardの現在の実装では動的構造の表現力が制限されており、現代の動的ディープラーニング機能との統合を改善する必要がある。
• Pyroにはモンテカルロ推論の強力なサポートがなく、現在は変分推論に重点が置かれているため、将来的な拡張の重要な分野である。