[論文レビュー] Semantic Hypergraphs

Telmo Menezes, Camille Roth|arXiv (Cornell University)|Aug 28, 2019

Topic Modeling参考文献 61被引用数 6

ひとこと要約

本稿では、記号的解釈可能性と機械学習ベースの適応性を統合することで、自然言語の深い構造的理解を可能にする、新規でオープンで適応可能な知識表現モデル、意味的ハイパーグラフ（SH）を紹介する。このアプローチは、最新のNLPモデルとランダムフォレストを統合したハイブリッドパーサーを用い、テキストをSHに変換する。これにより、多様なテキストタイプにおいて高い正確性を達成し、人間が理解可能な結果を得られる。具体的には、対立分析、推論規則の発見、概念階層の学習といった強力な後続タスクを実現する。

ABSTRACT

Approaches to Natural language processing (NLP) may be classified along a double dichotomy open/opaque - strict/adaptive. The former axis relates to the possibility of inspecting the underlying processing rules, the latter to the use of fixed or adaptive rules. We argue that many techniques fall into either the open-strict or opaque-adaptive categories. Our contribution takes steps in the open-adaptive direction, which we suggest is likely to provide key instruments for interdisciplinary research. The central idea of our approach is the Semantic Hypergraph (SH), a novel knowledge representation model that is intrinsically recursive and accommodates the natural hierarchical richness of natural language. The SH model is hybrid in two senses. First, it attempts to combine the strengths of ML and symbolic approaches. Second, it is a formal language representation that reduces but tolerates ambiguity and structural variability. We will see that SH enables simple yet powerful methods of pattern detection, and features a good compromise for intelligibility both for humans and machines. It also provides a semantically deep starting point (in terms of explicit meaning) for further algorithms to operate and collaborate on. We show how modern NLP ML-based building blocks can be used in combination with a random forest classifier and a simple search tree to parse NL to SH, and that this parser can achieve high precision in a diversity of text categories. We define a pattern language representable in SH itself, and a process to discover knowledge inference rules. We then illustrate the efficiency of the SH framework in a variety of tasks, including conjunction decomposition, open information extraction, concept taxonomy inference and co-reference resolution, and an applied example of claim and conflict analysis in a news corpus.

研究の動機と目的

• 純粋な記号的システムや透過性のない機械学習ベースのNLPシステムの限界を克服し、オープン性と適応性をバランスさせた新しい知識表現モデルの開発。
• 言語の豊かさと構造的多様性を保ちながら、人間が読める、意味的に深い自然言語の表現を可能にすること。
• 大規模なテキストコーパスを分析するための形式的で拡張可能で解釈可能なフレームワークを提供することで、計算的社会科学分野における異分野研究を支援すること。
• 実世界のNLPタスク、例えば対立検出、情報抽出、推論規則学習において、SHの実現可能性と有効性を示すこと。
• すべての実験の再現とコミュニティによる採用を促進するため、オープンソース実装（Graphbrain）を提供すること。

提案手法

• 自然言語をハイパーエッジで接続されたエンティティ、関係、属性に明示的な意味をもたせて表現する再帰的で形式的な言語表現として、意味的ハイパーグラフ（SH）を提案する。
• 事前学習済み言語モデル（例：BERTに類似したエンコーダー）、spaCyベースの言語的特徴、およびランダムフォレスト分類器を統合したハイブリッドNLPパーサーを設計し、高精度で生テキストをSHにマッピングする。
• SH内でネイティブに表現可能なパターン言語を定義し、知識抽出規則や推論パターンの形式的表現を可能にする。
• 人間とシステムの共同での規則学習を可能にする手続き的テンプレートを採用し、オープンテキストからの参照ハイパーグラフをトレーニングシグナルとして使用する。
• ユニバーサルデパーサビリティ（Universal Dependencies）からの構造的および意味的特徴を用いて、SHが文法的構造を完全に表現できることを検証する。
• 手動による検証と正確性指標を用い、共参照解決、主張および対立分析、概念階層の推論といった複数のNLPタスクにSHを適用する。

実験結果

リサーチクエスチョン

• RQ1 知識表現モデルは、記号的解釈可能性と機械学習ベースの適応性を統合することで、より深い言語理解を可能にすることができるか？
• RQ2 最新のNLPツールを用いたハイブリッドパーサーは、多様な自然言語テキストを構造的な意味的ハイパーグラフに変換する際に、高い正確性を達成できるか？
• RQ3 推論規則や知識抽出パターンは、SHフレームワーク自体の中で形式的に表現され、学習可能か？
• RQ4 SHは、ニュースコーパスにおける対立および連携検出といった複雑で意味的に豊かなタスクをどれほど効果的に支援できるか？
• RQ5 SHは、記号的、グラフベース、統計的AIコンponentsを統合するハイブリッドシステムのための共通語（リングア・フランカ）として機能できるか？

主な発見

• SHパーサーは、多様なテキストカテゴリにおいて高い正確性を示し、実世界のNLPタスクにおける頑健性と一般化能力を実証した。
• フレームワークは、ユニバーサルデパーサビリティのツリー・バンクに含まれるすべての文法的構造を正確に表現できており、完全性と表現力の両方を確認した。
• 対立分析において、システムは53のハイパーエッジ（対立表現に対応）を正しく同定し、全ケースが人間による検証で正確にアクターとトピックの特定がなされた。
• 派閥検出プロセスは、国家的アクターをロシア寄りと米国寄りの2つの主要なクラスタに正しく分類し、一般的な地理的・政治的配列と一致した。
• オープン情報抽出および概念階層の推論においても、競争力のある結果を達成し、出力は両方とも正確で人間が解釈可能であった。
• Graphbrainオープンソースライブラリは正常に実装されリリースされ、本論文で説明されたすべての実験の再現と拡張を可能にした。