[論文レビュー] Reasoning about Unmodelled Concepts - Incorporating Class Taxonomies in Probabilistic Relational Models

Daniel Nyga, Michael Beetz|arXiv (Cornell University)|Apr 21, 2015

Semantic Web and Ontologies参考文献 5被引用数 7

ひとこと要約

本稿では、クラスの分類体系におけるファジィ推論を組み込むことで、確率的分布のコン pact な表現と、未モデル化された（ドメイン外の）概念に関する推論を可能にする Fuzzy-MLNs と呼ばれるフレームワークを提案する。語義的類似度に基づいて is-a 関係に実数値の真偽度を割り当てることで、Fuzzy-MLNs は疎な訓練データから効果的に一般化し、未学習の概念を扱う際の標準的な MLN よりも優れた性能を発揮する。

ABSTRACT

A key problem in the application of first-order probabilistic methods is the enormous size of graphical models they imply. The size results from the possible worlds that can be generated by a domain of objects and relations. One of the reasons for this explosion is that so far the approaches do not sufficiently exploit the structure and similarity of possible worlds in order to encode the models more compactly. We propose fuzzy inference in Markov logic networks, which enables the use of taxonomic knowledge as a source of imposing structure onto possible worlds. We show that by exploiting this structure, probability distributions can be represented more compactly and that the reasoning systems become capable of reasoning about concepts not contained in the probabilistic knowledge base.

研究の動機と目的

• すべての可能な世界を列挙するとモデルサイズが非効率的になる第一階論理確率的モデルにおけるスケーラビリティとコンパクト性の問題に対処すること。
• 確率的知識ベースに明示的に表現されていない概念（いわゆるドメイン外の概念）についての推論を可能にすること—つまり、すべての可能な概念を網羅的にモデル化する必要がないこと。
• 事前に存在する分類体系（例：WordNet）からの語義的類似度を活用して、疎な訓練データから一般化し、学習と推論の複雑さを低減すること。
• 標準的な MLN 形式との互換性を維持しつつ、曖昧または不完全な証拠を扱うための柔軟なメカニズムとして、ファジィ真偽度を導入すること。
• 分類体系におけるファジィ推論が、データが疎な状況下でも、実世界の NLP タスク（例：語義の意味づけの解消）において頑健な一般化を可能にすることを実証すること。

提案手法

• Fuzzy-MLNs は、標準的な Markov Logic Networks に、概念間の語義的類似度に基づいた実数値の真偽度を有するファジィ的 is-a 関係を導入することで拡張される。
• 未知の概念と既知の概念の間の is-a 述語の真偽度は、事前に用意された分類体系（例：WordNet）から導出された語義的類似度測定法を用いて計算される。
• 推論の際、確率分布は訓練データに含まれる既知の概念に条件付けられ、ドメイン外の概念は類似度重み付き推論を用いてファジィ分類体系を通じて証拠を伝搬することで推論される。
• フレームワークは元の MLN 構造と学習手順を保持しており、論理的原子の解釈を二値の真偽からgradedな真偽値に変更するのみである。
• ファジィ推論は学習段階と推論段階の両方で適用され、類似度に基づいて既知の概念に類似する未学習の概念を含む可能な世界に対して非ゼロの確率を割り当てることが可能になる。
• この手法は、固定された外部の分類体系（例：WordNet）を事実知識として利用しており、分類体系全体を確率的 KB にモデル化する必要がない。

実験結果

リサーチクエスチョン

• RQ1 分類体系からの語義的類似度を活用することで、訓練データに存在しない概念についても、確率的関係的モデルが一般化可能かどうか。
• RQ2 クラス階層におけるファジィ推論は、第一階論理確率的モデルのコンパクト性とスケーラビリティをどのように向上させるか。
• RQ3 語義的類似度に基づくファジィ推論は、語義の意味づけの解消において、疎な訓練データからの一般化をどの程度向上させるか。
• RQ4 Fuzzy-MLNs は、特に訓練データが限られた状況下で、ドメイン外の概念を含む推論タスクにおいて、標準的な MLN よりも優れた性能を発揮するか。
• RQ5 is-a 関係に実数値の真偽度を導入することで、二値または硬い制約と比較して、推論の頑健性はどの程度向上するか。

主な発見

• Fuzzy-MLNs は、疎な訓練データを用いた語義の意味づけの解消タスクにおいて、標準的な MLN より顕著に優れた性能を示す。特に、テストデータに未学習の概念が登場する場合に顕著な向上が観察された。
• Fuzzy-MLNs がもたらす最も顕著な性能向上は、極度のデータスパarsity が生じる状況で発現する。この状況では、古典的 MLN は未学習の概念に対する証拠が不足しているため、完全に失敗する。
• Fuzzy-MLNs は、分類体系内の既知の概念との語義的類似度を活用することで、確率的知識ベースに明示的に表現されていない概念についても意味のある推論を可能にする。
• フレームワークは、訓練データに存在する概念のみをモデル化することで、コンパクトなモデル表現を達成しているが、同時に広範な分類体系全体に対する推論を可能としている。
• Fuzzy-MLNs は強力な一般化能力を示しており、訓練データがますます疎らしくなるにつれて性能の飛躍が観察された。これは、オープンワールド推論における実用性を裏付けるものである。
• このアプローチは、既知の概念から語義的に類似した未学習の概念へと知識を効果的に転送できており、人間の誘導的推論に類似した振る舞いを示している。