[論文レビュー] Weight Learning in a Probabilistic Extension of Answer Set Programs

Joohyung Lee, Wang Yi|arXiv (Cornell University)|Aug 14, 2018

Logic, Reasoning, and Knowledge参考文献 16被引用数 3

ひとこと要約

本稿は、勾配上昇法とMC-ASP（MCMCサンプリングのためのASPソルバベース）を用いて、${\rm LP}^{\rm{MLN}}$（答え集合プログラミングの確率的拡張）における重み学習を導入する。この手法により、行動計画や帰納的診断といった知識豊富な分野における確率的推論が可能となり、観測された行動履歴から得られる失敗確率を反映する重みが学習可能となる。

ABSTRACT

LPMLN is a probabilistic extension of answer set programs with the weight scheme derived from that of Markov Logic. Previous work has shown how inference in LPMLN can be achieved. In this paper, we present the concept of weight learning in LPMLN and learning algorithms for LPMLN derived from those for Markov Logic. We also present a prototype implementation that uses answer set solvers for learning as well as some example domains that illustrate distinct features of LPMLN learning. Learning in LPMLN is in accordance with the stable model semantics, thereby it learns parameters for probabilistic extensions of knowledge-rich domains where answer set programming has shown to be useful but limited to the deterministic case, such as reachability analysis and reasoning about actions in dynamic domains. We also apply the method to learn the parameters for probabilistic abductive reasoning about actions.

研究の動機と目的

• ${\rm LP}^{\rm{MLN}}$プログラムにおけるパrameter学習を可能にし、決定的答え集合プログラミングを確率的推論へ拡張すること。
• 複雑な${\rm LP}^{\rm{MLN}}$プログラムにおける手動による重み割り当ての課題を、観測データから重みを学習することによって解決すること。
• 特に勾配上昇法とMCMCサンプリングを用いたマークフ・ロジック・ネットワークの学習手法を、${\rm LP}^{\rm{MLN}}$の安定モデル意味論へ適応すること。
• 行動失敗診断のような、不完全または部分的に観測されたデータを含む分野における${\rm LP}^{\rm{MLN}}$学習の適用可能性を示すこと。
• 行動実行履歴から失敗確率を学習することで、動的システムに確率的帰納的推論を統合すること。

提案手法

• 最大尤度推定（MLE）のための勾配上昇法を${\rm LP}^{\rm{MLN}}$における規則重みの学習に適応し、観測された安定モデルの尤度を最大化する。
• ${\rm LP}^{\rm{MLN}}$のペナルティに基づく定式化を基に、答え集合ソルバ（ASP）を用いるMCMCサンプラーであるMC-ASPを提案。
• MCMCにおける候補モデルの生成に、均一サンプラーをブラックボックスとして用い、偽の規則のペナルティに基づく受容確率を設定する。
• 単一および複数の安定モデル設定の両方に対し学習フレームワークを適用し、不完全な解釈の処理にも拡張する。
• 変換式 $ P(\text{abnormality}) = \frac{\exp(-w)}{\exp(-w) + 1} $ を用いて、学習された重みを失敗確率に変換する。
• 還元を用いて既存ツールと統合する：${\rm LP}^{\rm{MLN}}$学習は、ProbLogとマークフ・ロジック学習の特殊ケースとして一般化可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 安定モデル意味論の下で${\rm LP}^{\rm{MLN}}$における重み学習をどのように形式化できるか。これにより、知識豊富な分野における確率的推論が可能となるか。
• RQ2 マークフ・ロジックから得られるMCMCサンプリング技術を、答え集合ソルバを用いて${\rm LP}^{\rm{MLN}}$に適応できるか。MC-ASPはMC-SATとどのように異なるか。
• RQ3 ${\rm LP}^{\rm{MLN}}$学習は、欠落したフラジェントや異常状態を含む不完全な行動履歴のような部分観測データをどのように処理できるか。
• RQ4 行動実行履歴から失敗確率を学習することで、フレームワークが確率的帰納的推論をサポートできるか。
• RQ5 ${\rm LP}^{\rm{MLN}}$重み学習と、ProbLog やマークフ・ロジックといった既存の確率的論理学習フレームワークとの関係は何か。

主な発見

• 行動失敗規則の学習された重みは、enter_failedが-1.084、drop_bookが-1.064、pickup_failedが-0.068であり、それぞれ失敗確率は約0.253、0.257、0.483となった。
• MC-ASPは、ASPソルバを用いて${\rm LP}^{\rm{MLN}}$におけるMCMCサンプリングを可能にし、決定的依存性による従来のMCMCのエルゴディック性の制限を克服した。
• システムは、失敗の最も確率の高い原因を正しく同定した：本がr2にない場合、pickup_failedが原因であり、ロボットもr2にいない場合、enter_failedが原因である。
• フレームワークは不完全な解釈からの学習をサポートしており、安定モデル意味論に基づき、欠落したフラジェントや異常状態の推論が可能である。
• プロトタイプ実装は、動的システムにおける帰納的推論のパrameter学習に成功し、実世界の診断シナリオにおける手法の有効性を示した。
• 本手法はProbLogとマークフ・ロジック学習を一般化しており、${\rm LP}^{\rm{MLN}}$の特定のサブケースに対して、既存のツールやアルゴリズムの再利用を可能にした。