[論文レビュー] Using Recurrent Neural Network for Learning Expressive Ontologies

Giulio Petrucci, Chiara Ghidini+1 more|arXiv (Cornell University)|Jul 14, 2016

Topic Modeling参考文献 3被引用数 4

ひとこと要約

本稿では、自然言語テキストから表現的なオントロジーを自動学習するための、ゲート付き再帰ユニット（GRUs）を用いた再帰的ニューラルネットワーク（RNN）アーキテクチャを提案する。オントロジー学習をシーケンス・ツー・シーケンス変換タスクとして定式化し、プロセスを式のテンプレート生成と文のタグ付けに分割することで、最小限の手動ルール設計で非構造化テキストを形式的でOWLに類似した論理式にマッピングするモデルを学習する。本手法は、スケーラブルでドメインに依存しないオントロジー構築の可能性を示している。

ABSTRACT

Recently, Neural Networks have been proven extremely effective in many natural language processing tasks such as sentiment analysis, question answering, or machine translation. Aiming to exploit such advantages in the Ontology Learning process, in this technical report we present a detailed description of a Recurrent Neural Network based system to be used to pursue such goal.

研究の動機と目的

• 非構造化テキストから表現的なオントロジーを手作業で構築する際の高コストと複雑さに対処すること。
• ニューラルネットワークを活用することで、オントロジー学習における手作業によるルールやパターンに依存するのを減らすこと。
• 自然言語からのエンド・トゥ・エンド学習によって、ドメインに依存しないオントロジー構築を可能にすること。
• RNNを用いて自然言語記述から複雑で論理的に構造化された式を生成する可能性を検討すること。
• 人的介入を最小限に抑えつつ、スケーラビリティと表現力を向上させること。

提案手法

• システムはオントロジー学習をシーケンス・ツー・シーケンス変換タスクとして定式化し、2段階に分解する：式のテンプレート生成と文のタグ付け。
• ゲート付き再帰ユニット（GRUs）を用いたシーケンス・ツー・シーケンスRNNモデルを用い、入力文から論理式を生成する。各ステップで式の項の確率分布をモデル化する。
• エンコーダーが入力文を処理し、デコーダーが出力式を生成する階層的アーキテクチャを採用。両者とも隠れ状態の更新にGRUsを用いる。
• GRUセルはリセットゲートと更新ゲートを用い、情報の流れを制御することで、短期記憶と関連する文脈の動的保持を可能にする。
• 損失関数は、ゴールの式をワンホットエンコーディングした上で、カテゴリカル交差エントロピーを用い、予測誤差を最小化するように最適化する。
• 最終的な式は、入力文とモデルパラメータをすべて条件として、自己回帰的に各ステップで最も確率の高いトークンをサンプリングすることで生成される。

実験結果

リサーチクエスチョン

• RQ1 シーケンス・ツー・シーケンスRNNモデルは、オントロジーリンガアで形式的論理式に自然言語記述を効果的にマッピングできるか？
• RQ2 GRUsは、複雑で表現的なオントロジー公理を生成するために必要な文法的・意味的構造をどの程度捉えることができるか？
• RQ3 本アプローチは、表現力を維持しつつ、オントロジー学習における手作業ルール設計の必要性をどの程度減らせるか？
• RQ4 同じ論理的構造を持つが異なる表層的言語形態をとる文に対して、モデルはどの程度一般化できるか？
• RQ5 提案手法は、制約のない現実世界の自然言語テキストに対してもスケーラブルかつ適用可能か？

主な発見

• 提案されたRNNベースのシステムは、オントロジー学習をシーケンス・ツー・シーケンス変換タスクとして効果的に定式化し、自然言語から形式的論理式へのエンド・トゥ・エンド学習を可能にした。
• ゲート付き再帰ユニット（GRUs）の使用により、関連する文脈を維持し、情報の流れを制御できるようになり、複雑な文法的構造に対する性能が向上した。
• 式のテンプレートフェーズと文のタグ付けフェーズを組み合わせることで、多様な言語的表現に対して構造的な一般化が可能になり、論理的に整合性のある式の生成が達成された。
• 大規模なラベルなしテキストデータを効果的に活用することで、手作業による特徴工学の依存度が低下した。
• システムは現在評価中であり、主な目的はスケーラビリティ、ドメイン独立性、および制約のない自然言語を処理する能力の評価である。
• 本アプローチは、オントロジー開発における工学的コストを削減しつつ、表現力があり形式的な表現をサポートする可能性を示している。