[論文レビュー] K-BERT: Enabling Language Representation with Knowledge Graph

Weijie Liu, Peng Zhou+5 more|arXiv (Cornell University)|Sep 17, 2019

Topic Modeling参考文献 21被引用数 84

ひとこと要約

K-BERTは、知識グラフからのドメイン知識をBERT様モデルへ注入し、ソフトポジショニングと可視性マトリクスを用いて知識の影響を制御する知識対応型の文ツリーを用いて、追加の事前学習なしでドメイン特化のNLPタスクを改善します。

ABSTRACT

Pre-trained language representation models, such as BERT, capture a general language representation from large-scale corpora, but lack domain-specific knowledge. When reading a domain text, experts make inferences with relevant knowledge. For machines to achieve this capability, we propose a knowledge-enabled language representation model (K-BERT) with knowledge graphs (KGs), in which triples are injected into the sentences as domain knowledge. However, too much knowledge incorporation may divert the sentence from its correct meaning, which is called knowledge noise (KN) issue. To overcome KN, K-BERT introduces soft-position and visible matrix to limit the impact of knowledge. K-BERT can easily inject domain knowledge into the models by equipped with a KG without pre-training by-self because it is capable of loading model parameters from the pre-trained BERT. Our investigation reveals promising results in twelve NLP tasks. Especially in domain-specific tasks (including finance, law, and medicine), K-BERT significantly outperforms BERT, which demonstrates that K-BERT is an excellent choice for solving the knowledge-driven problems that require experts.

研究の動機と目的

• 语言表現におけるオープン領域事前学習を超えたドメイン知識の必要性を動機づける。
• KG対応のBERT派生モデルを提案し、KGデータの全事前学習を要求せずに構造化知識を注入する。
• ノイズを抑制し文の意味を保持するための仕組み（ソフトポジショニングと可視性マトリクス）を提供する。
• 複数のオープン領域およびドメイン特化の中国語NLPタスクにおける有効性を示す。

提案手法

• K-BERTを導入し、事前学習済みのBERTを読み込み、KGトリプルを入力に追加して知識豊富な文ツリーを形成する。
• 知識層を用いて文のエンティティを照会する（K-Query）し、それを文へ注入する（K-Inject）。
• 文ツリーをトークンレベルの埋め込みへ変換する埋め込み層を用い、構造を保持するためにソフトポジション埋め込みを採用する。
• 可視化マトリクスを用いた“見える化層”を用いて、どのトークンが他のトークンを参照できるかを制御する。これは可視性に従って自己注意を制限するMask-Transformerとして実装される。
• BERTと同じパラメータ予算（12層、12のアテンションヘッド、768隠れ次元）で訓練し、KGは微調整/推論時のみ有効化（KG事前学習はなし）。
• 財務、法、医療といったドメインを含むオープン領域およびドメイン特化の12の中国語NLPタスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 KG対応の注入がKGデータの再事前学習なしにドメイン特化の言語理解を改善できるか。
• RQ2 KG知識の統合はオープン領域タスクとドメイン特化タスクの性能にどのように影響するか。
• RQ3 制御可能なメカニズム（ソフトポジショニングと可視性マトリクス）は、知識ノイズを抑制しつつ文の意味を保持または強化できるか。
• RQ4 どの種類のKG（百科事典型 vs. 言語-focus型）がタスクカテゴリ（NLI、QA、NER、感情分析）に対してより有益か。
• RQ5 K-BERTは標準のBERT事前学習パラメータと互換性があり、リソース制約のある環境で実用的か。

主な発見

• K-BERTは財務、法、医療といったドメイン特化タスクでBERTより優れた性能を示し、KG対応知識の価値を検証している。CN-DBpedia（百科事典的KG）はQ&AとNERタスクを改善し、HowNet（言語ベースのKG）はXNLIやLCQMCのような意味的類似タスクをよりよくサポートする。一方、WebtextZhはKGと組み合わせた場合に追加のゲインを提供する。
• 特定ドメインの結果では、CN-DBpediaを用いたK-BERTはMSRA-NERのF1を93.6%から95.7%に向上させ（約+2.1ポイント）、他のドメインタスクでも同様の向上をもたらす。MedicalKGはMedicine_NERで顕著な利得をもたらす。
• アブレーション研究は、ソフトポジションまたは可視マトリクスを除去すると性能が低下し、可視マトリクスを省くとBERTを下回る場合もあることを示し、KN抑制が本質的であることを確認している。
• K-BERTはLaw_Q&AでBERTより速く収束する（エポック2でピーク、BERTはエポック4）、可視性マトリクスとソフトポジション機構を通じてKNに対して堅牢である。
• このアプローチはKG固有の事前学習を必要とせず、既存のBERT事前学習パラメータを活用できるため、資源が限られた環境でも実用的な導入を容易にする。