[論文レビュー] Inference, Learning, and Population Size: Projectivity for SRL Models

Manfred Jaeger, Oliver Schulte|arXiv (Cornell University)|Jul 2, 2018

Bayesian Modeling and Causal Inference参考文献 16被引用数 7

ひとこと要約

本稿は、統計的関係学習（SRL）モデルにおける周辺確率がドメインサイズに依存することの問題を調査し、推論および学習の堅牢性を保証するための形式的基準として「プロジェクト性」を導入する。マーカフ論理ネットワーク（MLN）、関係的ベイジアンネットワーク（RBN）、ProbLogの3つの主要なSRLフレームワークについて、プロジェクト性を保証する文法的条件を同定し、このようなモデルがドメインサイズにかかわらず一貫した予測をもたらすことを示している。これは、サブネットワークからの有効な最尤学習に意味を持つ。

ABSTRACT

A subtle difference between propositional and relational data is that in many relational models, marginal probabilities depend on the population or domain size. This paper connects the dependence on population size to the classic notion of projectivity from statistical theory: Projectivity implies that relational predictions are robust with respect to changes in domain size. We discuss projectivity for a number of common SRL systems, and identify syntactic fragments that are guaranteed to yield projective models. The syntactic conditions are restrictive, which suggests that projectivity is difficult to achieve in SRL, and care must be taken when working with different domain sizes.

研究の動機と目的

• 関係的モデルにおける周辺確率がドメイン（集団）サイズに依存するという直感に反する問題に対処すること。これは、堅牢性と計算効率の両方に悪影響を及える。
• このドメインサイズ依存性を、古典的統計における「プロジェクト性」と結びつけること。これにより、外部ノードの存在に関係なく、サブネットワークの予測が一貫性を保つようになる。
• マーカフ論理ネットワーク（MLN）、関係的ベイジアンネットワーク（RBN）、ProbLogといった一般的なSRLフレームワークの文法的断片を同定し、プロジェクト性を保証する条件を特定すること。これにより、信頼性の高い推論および学習が可能になる。
• 大きなネットワークに埋め込まれたサブネットワークからの最尤パラメータ推定が、有効かつ一貫性を保つための条件を確立すること。

提案手法

• SRLにおけるプロジェクト性を形式化し、より小さいドメイン $ m $ の分布が、任意のより大きなドメイン $ n > m $ の周辺分布と一致することを保証する性質として定義する。これにより、ドメインサイズにわたる一貫性が確保される。
• 交換可能な関係的確率的構造モデル（RRSM）を、プロジェクト性の分析の基盤として定義する。ここでは定数や固定されたドメイン順序を仮定しない。
• 尤度関数における分離性条件を導入する。尤度の対数が、サイズ $ l $ の部分構造ごとに独立した成分に分解可能であるとし、モジュール型最適化を可能にする。
• この分離性条件を適用し、特定の文法的制約のもとで、サイズ $ m $ のサブネットワークにおける最尤推定が、サイズ $ n $ の大きなネットワークにおける推定と一貫することを証明する。
• RBNおよびProbLogにおいて、モデルが繰り返しパラメータを避け、すべての原子が同じ1階論理変数を共有するプロジェクト性断片のみを用いる場合、プロジェクト性が成立することを示す。また、尤度関数が $ k $-カウント統計に関して線形かつ分離可能である場合に限る。
• 組合せ的議論と期待値計算を用い、より大きなドメインからサンプリングされた場合の期待対数尤度が、サブネットワークの対数尤度に比例することを示す。これにより、分離性条件のもとで、サブネットワークからの最尤学習の妥当性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 マーカフ論理ネットワーク（MLN）が、ドメインサイズに依存しないプロジェクト性を持つモデルを生成するための文法的条件は何か？
• RQ2 関係的ベイジアンネットワーク（RBN）は、モデル構造および結合ルールの制約によってプロジェクト性を達成できるか？
• RQ3 完全なネットワークがより大きい場合でも、サブネットワークからの最尤学習は有効に保たれるか。その条件は何か？
• RQ4 尤度関数が $ k $-カウント統計に関して分離可能であることは、SRLモデルにおけるプロジェクト性とどのように関係するか？
• RQ5 MLNにおけるプロジェクト性条件（すべての原子が同一の1階論理変数を共有）が自然に現れる、自然なドメインの例は何か？

主な発見

• プロジェクト性は強い条件であり、サブネットワークの周辺予測が全体のドメインサイズの変化に依存しないことを保証する。これにより、推論および学習の堅牢性が実現される。
• 本稿は、マーカフ論理ネットワーク（MLN）、関係的ベイジアンネットワーク（RBN）、ProbLogにおいてプロジェクト性を保証する文法的断片を同定したが、これらの条件は制限的であり、プロジェクト性が実用的には達成しにくいことを示唆している。
• RBNにおいては、繰り返しパラメータを避け、プロジェクト性断片のみを用いることで、プロジェクト性が成立する。これにより、尤度関数が $ k $-カウント統計に関して線形かつ分離可能になる。
• ProbLogにおいては、完全観測の下では、プロジェクト性断片に制限を設けなくても、尤度関数が $ k $-カウント統計に関して線形かつ分離可能であれば、サブネットワークからの最尤学習は有効かつ一貫している。
• サイズ $ m $ のサブネットワークが、サイズ $ n $ のより大きなネットワークから抽出された場合、その期待対数尤度は、完全なネットワークの対数尤度に比例する。これにより、分離性条件のもとで、サブネットワークからの最尤学習が正当化される。
• 結果から、プロジェクト性は計算的・推論的堅牢性を高めるが、モデル表現力の低下を伴うことが示唆される。したがって、プロジェクト性はSRLにおける価値あるが限定的な設計原則である。