[論文レビュー] Stochastic And-Or Grammars: A Unified Framework and Logic Perspective

Kewei Tu|arXiv (Cornell University)|Jun 2, 2015

Bayesian Modeling and Causal Inference参考文献 24被引用数 4

ひとこと要約

本稿は、画像、動画、イベントなど多様なデータ型にわたり構成的かつ再構成可能な構造をモデル化する、統一的でデータに依存しない確率的And-Or文法（AOG）のフレームワークを提案する。構成の疎らさの下で計算可能性が保証されるドメインに依存しない推論アルゴリズムを提案し、AOGを確率的論理および確率的論理プログラムとして解釈する論理的解釈を確立することで、統計的関係学習と結びつける。

ABSTRACT

Stochastic And-Or grammars (AOG) extend traditional stochastic grammars of language to model other types of data such as images and events. In this paper we propose a representation framework of stochastic AOGs that is agnostic to the type of the data being modeled and thus unifies various domain-specific AOGs. Many existing grammar formalisms and probabilistic models in natural language processing, computer vision, and machine learning can be seen as special cases of this framework. We also propose a domain-independent inference algorithm of stochastic context-free AOGs and show its tractability under a reasonable assumption. Furthermore, we provide two interpretations of stochastic context-free AOGs as a subset of probabilistic logic, which connects stochastic AOGs to the field of statistical relational learning and clarifies their relation with a few existing statistical relational models.

研究の動機と目的

• コンピュータビジョン、NLP、イベントモデリングで用いられる、分野特異的な確率的AOGを、1つのデータに依存しない形式に統一すること。
• 構成の疎らさの妥当な仮定の下で、計算可能性が保証される、分野に依存しない推論アルゴリズムを確立すること。
• 確率的論理フレームワーク（たとえば、計算可能なマルコフ論理や確率的論理プログラム）と確率的AOGの間の正式な関係を確立すること。
• AOGと既存の確率的モデル（和積ネットワークや制約に基づく文法）との理論的関係を明確にすること。
• AOGを形式的かつ解釈可能な確率的モデルに抽象化することで、一般用途の学習と推論を可能にすること。

提案手法

• 確率的文法的AOGの5重形式：⟨Σ, N, S, θ, R⟩、ここでΣは端末記号、Nは非端末記号（And/Orノード）、Sは開始記号、θはノードからパラメータへの写像、Rはノード間の関係を定義する。
• パラメータ化されたパターンと関係を導入し、AOGのデータ型に依存しない一般化を実現し、画像、イベント、言語へのインスタンス化を可能にする。
• 動的計画法に基づくドメインに依存しない推論アルゴリズムを開発し、入力に一致するすべての有効な解析木の和を取ることで周辺確率を計算する。
• AOGを計算可能なマルコフ論理の一種に写像することで、1階確率的論理的解釈を確立し、And/Orルールが確率的重み付き論理節に対応することを示す。
• 確率的文法的AOGを正規化された確率的論理プログラム（SLP）に還元し、既存のSLP推論および学習アルゴリズムの利用を可能にする。
• 構成の疎らさ仮定を用いて、推論アルゴリズムの計算可能性を証明し、この条件下で多項式時間の複雑性が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 画像、イベント、言語といった多様なデータ型にわたり、分野特異的定義に依存せずに、確率的AOGをどのように統一できるか？
• RQ2 確率的文法的AOGにおける推論がどのような条件下で計算可能になるか、そしてそれがデータドメインに依存せずに形式化可能か？
• RQ3 確率的AOGをどのような形で確率的論理の一種として解釈できるか、また既存の統計的関係モデルとどのように関係するか？
• RQ4 確率的AOGを既知の形式的体系（たとえば、確率的論理プログラムや計算可能なマルコフ論理）に還元可能か、その推論および学習に与える影響は何か？
• RQ5 確率的AOGと他の確率的モデル（和積ネットワークや制約に基づく文法）との理論的関係は何か？

主な発見

• 提案された統一的AOGフレームワークは、NLP、コンピュータビジョン、機械学習分野のさまざまな分野特異的モデルを特別なケースとして包含する。
• 構成の疎らさ仮定の下で、ドメインに依存しない推論アルゴリズムは計算可能であり、解析の多項式時間複雑性を保証する。
• 確率的文法的AOGは1階確率的論理の部分集合として解釈可能であり、構造的および推論的性質において計算可能なマルコフ論理に類似している。
• 論理的解釈により、AOGと既存の統計的関係モデルとの間の深い関係が明らかになり、不確実性と構成性の扱い方において類似性が示された。
• 確率的AOGは正規化された確率的論理プログラム（SLP）に還元可能であり、成熟したSLP推論および学習アルゴリズムをAOGに適用可能にする。
• フレームワークにより、分野特異的詳細を抽象化しながらも確率的および構造的表現力を保持することで、データ型に跨る一般用途の学習と推論が可能になった。