[論文レビュー] Relational Marginal Problems: Theory and Estimation

Ondřej Kuželka, Yuyi Wang+2 more|ORCA Online Research @Cardiff (Cardiff University)|Sep 18, 2017

Bayesian Modeling and Causal Inference被引用数 9

ひとこと要約

本稿は、訓練データとテストデータのサイズが異なる場合の統計的に整合性のあるパラメータ推定を可能にする枠組みとして、関係的マージナル問題を導入する。最大エントロピー分布と最尤推定の双対性を確立し、推定誤差の境界を導出し、特にリサンプリングなしの状況下での実現可能性と有効サンプルサイズの推定を保証するための調整手法を提案する。

ABSTRACT

In the propositional setting, the marginal problem is to find a (maximum-entropy) distribution that has some given marginals. We study this problem in a relational setting and make the following contributions. First, we compare two different notions of relational marginals. Second, we show a duality between the resulting relational marginal problems and the maximum likelihood estimation of the parameters of relational models, which generalizes a well-known duality from the propositional setting. Third, by exploiting the relational marginal formulation, we present a statistically sound method to learn the parameters of relational models that will be applied in settings where the number of constants differs between the training and test data. Furthermore, based on a relational generalization of marginal polytopes, we characterize cases where the standard estimators based on feature's number of true groundings needs to be adjusted and we quantitatively characterize the consequences of these adjustments. Fourth, we prove bounds on expected errors of the estimated parameters, which allows us to lower-bound, among other things, the effective sample size of relational training data.

研究の動機と目的

• 訓練データとテストデータの定数の数が異なる場合の統計的関係学習（SRL）におけるパrameter推定の課題に対処すること。
• 完全なデータが入手不可能な状況下で、サンプリングされた関係的データから得られるパrameter推定に対して統計的保証を提供すること。
• 関係的マージナル問題における最大エントロピー解の存在を保証するために、パrameter推定を調整する原理的かつ一貫した手法を開発すること。
• 異なるドメインサイズにおいて、標準的な特徴ベース推定器が不偏かつ実現可能である条件を同定すること。
• 期待推定誤差の境界を確立し、関係的訓練データの有効サンプルサイズの下界を導出すること。

提案手法

• 関係的マージナルの2つの定義を導入：1つは関係的マージナル分布に基づくもの、もう1つはHalpern風のランダム代入意味論に基づくもの。
• 最大エントロピー分布（関係的マージナルを満たすもの）とマルコフ論理ネットワーク（MLNs）における最尤推定との間の双対性を確立する。
• ドメインサイズの不一致により関係的マージナル問題が実現不可能な場合に、パラメータ推定を調整する手法を提案する。
• 関係的マージナルポリトープを定義し、妥当なマージナル分布の集合を特徴づけ、未調整推定器がどのドメインサイズに対しても有効である条件を決定する。
• 集中不等式（Hoeffdingの不等式）を用いて、サンプリングされたドメインにおける推定マージナル確率と真のマージナル確率の期待差を境界づける。
• 真のグローバルマージナルとサブサンプルからの推定マージナルとの間の期待誤差の上界を導出する：$\mathbb{E}[|\widehat{A}_{\aleph} - \widehat{B}_{\Upsilon}|] \leq 1 - \left(\frac{m-k+1}{m}\right)^{k-1} + \sqrt{\frac{1+2\log 2}{4\lfloor m/k\rfloor}}$。

実験結果

リサーチクエスチョン

• RQ1 命題的マージナル問題を関係的ドメインに一般化する適切な関係的マージナルの定義は何か？
• RQ2 最大エントロピーと最尤推定の双対性は、関係的設定へどのように拡張可能か？
• RQ3 関係的マージナル問題が実現可能となる条件は何か？ また、それが実現不可能な場合に推定値をどのように調整すべきか？
• RQ4 サンプリングされた関係的データから得られるパラメータ推定の統計的性質は何か？ そしてドメインサイズにどのように依存するか？
• RQ5 完全なデータが入手不可能な状況で、関係的訓練データの有効サンプルサイズをどのように定量化できるか？

主な発見

• 最大エントロピー分布（関係的マージナルを満たすもの）とマルコフ論理ネットワークにおける最尤推定との間の双対性が確立され、命題的ケースに一般化される。
• 真のグローバルマージナルとサブサンプルからの推定マージナルとの間の期待誤差は、$1 - \left(\frac{m-k+1}{m}\right)^{k-1} + \sqrt{\frac{1+2\log 2}{4\lfloor m/k\rfloor}}$ で境界づけられる。ここで $m$ はサンプリングドメインのサイズ、$k$ はローカル例の幅である。
• モデルBに関しては、期待誤差の境界が式に含まれる変数の数に依存する：$\mathbb{E}[|\widetilde{A}_{\Upsilon} - A_{\aleph}|] \leq \sqrt{\frac{1+2\log 2}{4\lfloor n/|\text{vars}(\alpha)|\rfloor}}$。
• 関係的マージナルポリトープを導入し、妥当なマージナル分布の集合を特徴づけ、任意のドメインサイズにおいて未調整推定器が実現可能である条件を決定する。
• 本稿では、期待推定誤差に基づいて、関係的訓練データの有効サンプルサイズの下界を提供する。
• 提案された調整手法により、元の推定が実現不可能であっても、関係的マージナル問題に対する解の存在が保証される。