[論文レビュー] Seq2RDF: An end-to-end application for deriving Triples from Natural Language Text

Yue Liu, Tongtao Zhang+3 more|arXiv (Cornell University)|Jul 4, 2018

Topic Modeling参考文献 5被引用数 15

ひとこと要約

この論文では、アテンションと事前学習済みの知識グラフ埋め込みを用いたエンコーダ・デコーダアーキテクチャを採用したエンド・ツー・エンドのニューラルモデル、Seq2RDFを提示している。このモデルは、パイプライン手法による誤り伝搬を回避するため、エンティティリンキングと関係分類を同時に学習することで、Wiki-DBpediaデータセットで最高のF1スコア84.3を達成した。

ABSTRACT

We present an end-to-end approach that takes unstructured textual input and generates structured output compliant with a given vocabulary. Inspired by recent successes in neural machine translation, we treat the triples within a given knowledge graph as an independent graph language and propose an encoder-decoder framework with an attention mechanism that leverages knowledge graph embeddings. Our model learns the mapping from natural language text to triple representation in the form of subject-predicate-object using the selected knowledge graph vocabulary. Experiments on three different data sets show that we achieve competitive F1-Measures over the baselines using our simple yet effective approach. A demo video is included.

研究の動機と目的

• 与えられた知識グラフの語彙に準拠した構造化されたRDF三元組に、非構造化テキストを自動的に変換すること。
• エンティティリンキングと関係分類を分離するパイプライン手法に内在する誤り伝搬を排除すること。
• テキストから主語・述語・目的語の三元組への意味解析を学習する統合的でエンド・ツー・エンドのシーケンス・ツー・シーケンスモデルの開発。
• 事前学習済みの単語埋め込みとTransEベースの知識グラフ埋め込みをエンコーダおよびデコーダに統合することで、性能を向上させること。
• 中間の特徴工学的処理や複雑なアーキテクチャ変更なしに、統合的な三元組生成の実現可能性と有効性を示すこと。

提案手法

• モデルは、入力文をエンコードし、出力三元組を主語・述語・目的語形式にデコードするため、双方向LSTMネットワークを用いたエンコーダ・デコーダフレームワークを採用している。
• デコーダがデコード中に入力シーケンスの関連部分に注目できるように、アテンション機構を適用することで、アライメントと文脈認識の向上を図っている。
• エンコーダの埋め込み行列は事前学習済み単語埋め込みで、デコーダの埋め込み行列はTransEベースの知識グラフ埋め込みで初期化され、意味表現の強化が図られている。
• シーケンス損失関数を用いて、入力テキストが与えられたもとでの三元組シーケンスの条件付き確率を最大化する。重み付き交差エントロピーを用いている。
• デコーダは三元組のトークンを1トークンずつ生成し、主語、述語、目的語ごとに別々のアテンションヘッドを設けることで、出力構造内の依存関係と制約をモデル化している。
• F1スコアの最適化を目的に、トレーニングセットで10分割交差検証を用いてハイパーパrameterをチューニングしている。

実験結果

リサーチクエスチョン

• RQ1 エンティティリンキングと関係分類の別個モジュールに依存せず、エンド・ツー・エンドのシーケンス・ツー・シーケンスモデルが自然言語からRDF三元組を効果的に生成できるか。
• RQ2 標準的な埋め込みと比較して、事前学習済みの知識グラフ埋め込みを統合することで、三元組生成性能がどの程度向上するか。
• RQ3 アテンション機構が、テキストスパンを三元組の主語・述語・目的語の役割に適切にアライメントさせる能力をどの程度向上させるか。
• RQ4 エンティティリンキングと関係分類の最先端システムを統合したパイプラインベースのベースラインと比較して、本モデルの性能はどの程度か。
• RQ5 主な失敗モードは何か。また、未知語彙のエンティティや重複する関係が、精度にどのような影響を与えるか。

主な発見

• 提案されたSeq2RDFモデルは、Wiki-DBpediaデータセットでF1測定値84.3を達成し、パイプラインベースのベースラインを顕著に上回った。
• 最良の設定（S+A+W+G）は、アテンション、単語埋め込み、KG埋め込みを統合し、Wiki-DBpediaでF1 84.3を達成した。これは、GRUベースのパイプラインベースラインの67.0と比較して顕著な向上である。
• パイプライン手法とは異なり、1つのデコードプロセス内でエンティティと関係の予測を同時に学習することで、誤り伝搬を低減した。
• デコーダでエンティティおよび関係のための事前学習済みTransE埋め込みを用いることで、すべてのデータセットで性能が向上し、知識グラフの意味論を統合することの価値が示された。
• 一般的な誤りは、未知語彙のエンティティや、テキスト内での曖昧さや重複する関係に起因しており、珍しい語や多義語の処理に限界があることが示された。
• NYT、ADE、Wiki-DBpediaの3つの異なるデータセットで、競争力ある結果を達成しており、ドメインおよびテキストタイプに跨る一般化能力を示した。