[論文レビュー] PAC Quasi-automatizability of Resolution over Restricted Distributions

Brendan Juba|arXiv (Cornell University)|Apr 16, 2013

Machine Learning and Algorithms参考文献 28被引用数 3

ひとこと要約

この論文は、特定の制限付き分布（特に、アフィン分布を一般化する相関ギャップを有する分布）上で、PAC意味論のもとで、解像度証明探索を準自動化可能であることを示している。具体的には、準多項式時間で実現可能である。主な貢献は、部分例と幅制限付きの節学習を活用する新規なアルゴリズムであり、古典的設定における既知の下界を克服して、効率的な解像度証明の検出を可能にしている。

ABSTRACT

We consider principled alternatives to unsupervised learning in data mining by situating the learning task in the context of the subsequent analysis task. Specifically, we consider a query-answering (hypothesis-testing) task: In the combined task, we decide whether an input query formula is satisfied over a background distribution by using input examples directly, rather than invoking a two-stage process in which (i) rules over the distribution are learned by an unsupervised learning algorithm and (ii) a reasoning algorithm decides whether or not the query formula follows from the learned rules. In a previous work (2013), we observed that the learning task could satisfy numerous desirable criteria in this combined context -- effectively matching what could be achieved by agnostic learning of CNFs from partial information -- that are not known to be achievable directly. In this work, we show that likewise, there are reasoning tasks that are achievable in such a combined context that are not known to be achievable directly (and indeed, have been seriously conjectured to be impossible, cf. (Alekhnovich and Razborov, 2008)). Namely, we test for a resolution proof of the query formula of a given size in quasipolynomial time (that is, "quasi-automatizing" resolution). The learning setting we consider is a partial-information, restricted-distribution setting that generalizes learning parities over the uniform distribution from partial information, another task that is known not to be achievable directly in various models (cf. (Ben-David and Dichterman, 1998) and (Michael, 2010)).

研究の動機と目的

• PAC意味論の下で、学習と推論を統合したフレームワークにおいて、不完全なデータに対する推論の課題に取り組むこと。
• 例が部分的に観測され、制限付き分布から抽出される状況下で、解像度証明探索が効率的に自動化可能かどうかを調査すること。
• 古典的設定では不可能であると予想されている解像度の自動化の既知の困難性を克服すること。
• 一般のDAG型解像度まで拡張された、推論の tractability（実行可能性）を、制限付き証明断片（例：Horn節）の範囲を超えて拡大すること。
• 部分情報からの学習が、古典的二段階モデル（まず規則を学習し、その後それらで推論する）では不可能な推論タスクを可能にするかどうかを検討すること。

提案手法

• アルゴリズムは、各リテラルが確率 $ \mu $ で独立に露呈されるマスキングプロセス $ M_{\mu} $ を介して部分的に露呈された例に基づく制限付き分布モデルで動作する。
• 幅制限付きの節学習戦略を用いて、部分例から幅の小さい論理式 $ \psi $ を学習し、真の背後にある論理式を近似する。
• Hoeffdingの不等式を適用して、学習した論理式における偽である節が検出される確率を制限し、高い確率で正しさを保証する。
• 分布の相関ギャップ特性を活用することで、任意の解像度証明が、部分例を介して検出可能な幅の小さい近似バージョンを持つことを保証する。
• 学習した論理式に含まれる偽である節が、部分例において十分な頻度で観測されるかどうかを検証することで、解像度証明の存在を確認する。
• PAC学習と証明複雑性の技術を統合し、アフィン分布の構造を活用して、効率的な証明検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 例が部分的に観測され、制限付き分布から抽出される状況下で、解像度証明探索が準多項式時間で準自動化可能か？
• RQ2 背後に潜む分布に相関ギャップが存在する場合、情報が不完全であっても、解像度証明の検出が効率的に行えるか？
• RQ3 学習と推論を統合したタスクは、まず規則を学習し、その後それらで推論する古典的二段階アプローチを上回る性能を発揮できるか？
• RQ4 古典的自動化が不可能であると信じられている状況下でも、PAC意味論のもとで一般解像度の準自動化が達成可能か？
• RQ5 結果は、カットプレーンや解像度付き多項式計算といったより強力な証明システムへ拡張可能か？

主な発見

• 相関ギャップを有する分布上でのPAC意味論のもとで、一般のDAG型解像度証明が、準多項式時間で準自動化可能であることが示された。
• 部分例を用いて学習した論理式に含まれる偽である節の存在を検証することで、解像度証明を高確率で検出できた。
• ターゲット論理式の節が幅に有界であるという仮定の下で、誤ったクエリを正しく拒否する確率は $ 1 - \delta $ 以上である。
• 幅が高々 $ w $ の各節が、確率 $ \mu^w $ 以上で完全に露呈されることを活用し、$ w = \Omega(\log n) $ のとき、偽である節の検出確率が定数確率で得られることを示した。
• 任意の幅 $ w $ のリテラル集合が非無視可能な確率で露呈されるマスキングプロセス、特に $ w $-一様独立分布に対しても一般化可能である。
• 既知の解像度自動化の下界を回避できるため、PAC意味論下での推論は、古典的設定よりも容易である可能性を示唆している。