[論文レビュー] Latent Relation Language Models

Hiroaki Hayashi, Zecong Hu+2 more|arXiv (Cornell University)|Aug 21, 2019

Topic Modeling参考文献 56被引用数 6

ひとこと要約

この論文では、潜在変数を介して知識グラフからの語彙レベルの語とエンティティスパンの間でテキストを生成する条件付き言語モデルである潜在関係言語モデル（LRLMs）を紹介する。これらの潜在関係を周辺化することにより、LRLMsは言語モデル性能を向上させるとともに、エンティティリンクの解釈可能な事後確率を提供し、Wikipediaに基づくテキスト生成タスクにおいて、標準言語モデルおよび先行の知識グラフ拡張アプローチを上回る性能を発揮する。

ABSTRACT

In this paper, we propose Latent Relation Language Models (LRLMs), a class of language models that parameterizes the joint distribution over the words in a document and the entities that occur therein via knowledge graph relations. This model has a number of attractive properties: it not only improves language modeling performance, but is also able to annotate the posterior probability of entity spans for a given text through relations. Experiments demonstrate empirical improvements over both a word-based baseline language model and a previous approach that incorporates knowledge graph information. Qualitative analysis further demonstrates the proposed model's ability to learn to predict appropriate relations in context.

研究の動機と目的

• 構造的知識グラフ関係に条件づけることで、希少語や意味的に豊かな語の言語モデル性能を向上させること。
• パラメータ予算の制限により、ニューラル言語モデルが低頻度語を十分に捉えきれないという限界を是正すること。
• 関係を潜在変数としてモデル化することで、テキスト生成とエンティティリンクの共同学習を可能にすること。
• 文脈内でのエンティティスパンの解釈可能な事後確率を提供し、下流の情報抽出タスクを強化すること。
• 関係ベースの生成が、語のみまたは固定関係のベースラインを上回る性能を発揮することを実証すること。

提案手法

• LRLMsは、X（テキスト）、Z（関係-エンティティスパンの潜在シーケンス）、C（知識グラフからの文脈）の同時確率P(X, Z | C)をモデル化する。
• 生成された語と知識グラフからの関係選択を同時に学習するために、潜在予測ネットワーク（LPNs）を用いる。
• テキスト生成は、語彙レベルの語と知識グラフ関係から導出されたエンティティスパンの混合により実行され、選択は潜在変数によって決定される。
• 潜在変数Zの周辺化により、訓練および推論の過程で、すべての可能なエンティティスパンとそれに関連する関係を扱えるようにする。
• モデルは、トピックエンティティsを中心とする知識グラフの部分グラフに条件づけられ、sと直接関連する関係とオブジェクトが抽出される。
• 関係の事後確率が計算され、モデルが文脈内で最も適切とみなす関係を解釈するために用いられる。

実験結果

リサーチクエスチョン

• RQ1 知識グラフ関係に条件づけることで、オープンボリューム言語モデルタスクの性能が向上するか。
• RQ2 関係選択に潜在変数を用いることで、固定または非潜在的アプローチと比較してパープレキシティと生成品質にどのような影響を与えるか。
• RQ3 潜在関係の事後確率が、信頼性のあるエンティティリンク予測として解釈可能か。
• RQ4 モデルが関係から生成できることで、希少語や低頻度語の性能が向上するか。
• RQ5 利用可能な知識グラフ関係の豊かさに応じて、モデル性能はどのようにスケーリングするか。

主な発見

• LRLMsは、標準的な語ベース言語モデルおよび先行の知識グラフ拡張モデル（NKLM）よりも低いパープレキシティを達成し、言語モデル性能の実証的向上を示している。
• 利用可能な関係の数が増えるほど、モデルの性能向上が顕著になることから、より豊かな知識ソースへのスケーラビリティが優れていることが示された。
• 潜在関係の事後確率は人間の直感と一致しており、高確率の関係は文脈内での意味的に適切なエンティティの言及に対応している。
• 定性的分析では、モデルが『アメリカ合衆国』に対して<origin>を正しく選択し、マドンナの『Sorry』に対して<lyrics by>を適切に特定していることが確認された。
• 『アメリカ合衆国』のような一般的なフレーズでは、モデルはしばしば語彙レベルの生成に従うが、適切な文脈では関係ベースの生成も活用している。
• 潜在変数の周辺化により、複数の候補エンティティや関係の間で曖昧さを解消でき、特に曖昧度の高い状況で有効である。