[論文レビュー] Learning implicitly in reasoning in PAC-Semantics

Brendan Juba|arXiv (Cornell University)|Sep 1, 2012

Logic, Reasoning, and Knowledge参考文献 45被引用数 4

ひとこと要約

本稿では、部分的に遮蔽された例から背景知識を暗黙的に学習することで、仮説を明示的に構築せずに、PAC-意味論における推論を効率的に行う手法を提示する。問題を有界空間の証明系（例：木構造の解釈）に還元することで、学習された規則が完全に正当でない場合でも、計算的に扱いやすい推論が可能となり、通常の計算的障壁を伴わないアグノスティック学習に類似した耐障害性を達成する。

ABSTRACT

We consider the problem of answering queries about formulas of propositional logic based on background knowledge partially represented explicitly as other formulas, and partially represented as partially obscured examples independently drawn from a fixed probability distribution, where the queries are answered with respect to a weaker semantics than usual -- PAC-Semantics, introduced by Valiant (2000) -- that is defined using the distribution of examples. We describe a fairly general, efficient reduction to limited versions of the decision problem for a proof system (e.g., bounded space treelike resolution, bounded degree polynomial calculus, etc.) from corresponding versions of the reasoning problem where some of the background knowledge is not explicitly given as formulas, only learnable from the examples. Crucially, we do not generate an explicit representation of the knowledge extracted from the examples, and so the "learning" of the background knowledge is only done implicitly. As a consequence, this approach can utilize formulas as background knowledge that are not perfectly valid over the distribution---essentially the analogue of agnostic learning here.

研究の動機と目的

• 背景知識が明示的な公理として部分的に与えられ、残りが分布から抽出された部分的に遮蔽された例として与えられる状況において、論理的クエリについて効率的な推論を可能にすること。
• 論理的必然性ではなく、例の分布上で高い確率で成立する結論を要求するPAC-意味論における推論の課題に対処すること。
• 明示的な仮説を構築せずに背景知識を暗黙的に学習する手法を開発することにより、アグノスティック学習における計算の非効率性を回避すること。
• 有界空間の証明系（例：有界空間の木構造的解釈）が、学習された規則が不完全であっても、PAC-意味論におけるクエリの正当性を効率的に証明できるように活用できることを示すこと。
• 不完全または一貫性のない規則が存在する状況でも、このアプローチが効率性と正しさを維持できることを示し、フレーム公理を用いた計画など、実世界のAIアプリケーションに適していること。

提案手法

• PAC-意味論における推論問題を、有界空間の命題論理証明系（例：空間有界の木構造的解釈、有界次数の多項式計算）における決定問題に還元する。
• Michael [40] の部分情報のモデルを用い、変数の部分集合しか観測されない例を表現する。
• 冗長な強化ステップを排除し、節の空間を保持するようにする、木構造的解釈証明の正規形を導入する。
• 根から出発するパスを探索する再帰的探索アルゴリズム（SearchSpace）を適用し、より小さい空間で導出可能な節を優先することで、時間計算量 O(|φ|·n²(s−1)) で有効な証明を発見する。
• 制限下でも推論規則が保存されることを根拠とし、部分割り当てで有効な証明が、完全な意味論でも有効であることを保証する。
• 明示的な仮説生成を回避することで、アグノスティック学習における計算の困難性を回避しつつ、完全でない有効性を持つ規則に対しても対応可能となる。

実験結果

リサーチクエスチョン

• RQ1 背景知識が部分的に遮蔽された例から暗黙的に学習される状況において、PAC-意味論における推論を効率的に行うことは可能か？
• RQ2 明示的に規則を学習または表現せずに、不完全または一貫性のない規則が存在する状況でも、耐障害性のある推論が達成可能か？
• RQ3 有界空間の証明系を用いることで、学習された規則が分布上で完全に正当でない場合でも、PAC-意味論におけるクエリ正当性を効率的に証明できるか？
• RQ4 明示的な仮説生成の欠如により、アグノスティック学習における既知の計算困難性を回避できるか？
• RQ5 このアプローチは、効率的な決定手続きを備えたさまざまな命題証明系に、どの程度一般化可能か？

主な発見

• 本手法は、有界空間の証明探索に還元することで、PAC-意味論におけるクエリ正当性を効率的に証明する。空間-s における木構造的解釈では、時間計算量 O(|φ|·n²(s−1)) で実行可能である。
• 空間-s における木構造的解釈証明の正規形が確立され、冗長な強化ステップが排除され、節の空間が保持される。これにより、効率的な探索が可能となる。
• SearchSpaceアルゴリズムは、存在する場合には空間-s の木構造的証明を正しく発見し、そうでなければ 'none' を返す。時間計算量は上記の通りである。
• 本手法は、明示的な規則の学習を避けながらも、アグノスティック学習に類似した耐障害性を達成しており、通常はこのような状況で見られる計算の非効率性を回避している。
• 有界次数の多項式計算などの、標準的な命題証明系のほとんどが、必要な条件を満たしており、広範な適用可能性が示された。
• 学習された規則が分布上で完全に正当でない場合でも、本手法は計算の tractability を維持するため、近似的な規則やフレーム公理を含む実世界のAIアプリケーションに適している。