[論文レビュー] Enriching BERT with Knowledge Graph Embeddings for Document\n Classification

Malte Ostendorff, Peter Bourgonje+4 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling被引用数 52

ひとこと要約

著者はBERTにメタデータとWikidataに基づく著者埋め込みを追加して、ドイツ語の書籍紹介文の分類を改善し、8ラベルと343ラベルのタスクでテキストのみのベースラインよりF1スコアを向上させた。

ABSTRACT

In this paper, we focus on the classification of books using short\ndescriptive texts (cover blurbs) and additional metadata. Building upon BERT, a\ndeep neural language model, we demonstrate how to combine text representations\nwith metadata and knowledge graph embeddings, which encode author information.\nCompared to the standard BERT approach we achieve considerably better results\nfor the classification task. For a more coarse-grained classification using\neight labels we achieve an F1- score of 87.20, while a detailed classification\nusing 343 labels yields an F1-score of 64.70. We make the source code and\ntrained models of our experiments publicly available\n

研究の動機と目的

• 非テキストのメタデータと外部知識を統合することによる書籍/文書分類の改善を動機づける。
• Wikidataから得られる著者埋め込みが分類性能に与える影響を評価する。
• テキスト、メタデータ、およびグラフ埋め込みを組み合わせたBERTベースのアーキテクチャを実証する。
• 再現性とさらなる研究を可能にする公開コードとモデルを提供する。

提案手法

• ドイツ語特化のBERTを、テキスト（タイトル＋要約）をBERTで処理する2タワー入力と、非テキスト特徴をMLPで処理する構成に拡張する。
• PyTorch BigGraphを用いてWikidataから学習した著者埋め込みを取り入れる。
• テキスト、メタデータ、および著者埋め込みを結合し、分類のために2層のMLPを通す。
• GermEval 2019 Sub-task A（8ラベル）とSub-task B（343ラベル）を、マイクロ平均F1を主要指標として評価する。
• 効率のため入力長を300トークンに設定する（大半の要約はこの制限以下）。
• テキストのみのBERTベースラインおよびTF-IDFロジスティック回帰ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 メタデータとWikidata由来の著者埋め込みでBERTを強化することは、ドイツ語の書籍紹介文の文書分類性能を改善するか？
• RQ2 各特徴タイプ（テキスト、メタデータ、著者埋め込み）の性能向上への寄与はどの程度か。
• RQ3 粗粒度（8ラベル）対細粒度（343ラベル）の階層的分類タスクでのモデルの性能はどうか。
• RQ4 GermEval 2019データに対して、ドイツ語特化のBERTモデルは多言語モデルより有利か。

主な発見

モデル / 特徴	サブタスクA F1	サブタスクA 適合率	サブタスクA 再現率	サブタスクB F1	サブタスクB 適合率	サブタスクB 再現率
(1) BERT-German + Metadata + Author	87.20	88.76	85.70	64.70	83.78	52.70
(2) BERT-German + Metadata	86.90	89.65	84.30	63.96	83.94	51.67
(3) BERT-German + Author	86.84	89.02	84.75	64.41	82.02	53.03
(4) BERT-German	86.65	89.65	83.86	60.51	83.44	47.47
(5) BERT-Base-Multilingual-Cased	83.94	86.31	81.70	54.08	82.63	40.19
(6) Author	61.99	75.59	52.54	32.13	72.39	20.65
(7) Baseline	77.00	79.00	74.00	45.00	67.00	34.00
Results of best model (1) on test set	88.00	85.00	86.00	78.00	52.00	62.00

• 最適な設定（BERT-German + metadata + author embeddings）は、検証データでSub-task Aが87.20 F1、Sub-task Bが64.70 F1を達成。
• メタデータの含有は、テキストのみのBERTを上回る性能をもたらし、最良の結果はベースラインを上回る。
• 著者埋め込み単独は劣るが、テキストおよびメタデータと組み合わせると性能向上に寄与する。
• ドイツ語特化BERTモデルは、多言語モデルよりSub-task Aで最大約3ポイント、Sub-task Bで約6ポイント上回る。
• テストデータでは、最良モデルはAで88.00 F1、78.00 Precision、52.00 Recallを達成；Bで64.70 F1、83.78 Precision、51.67 Recall。
• 著者埋め込みは低リソースの多ラベル設定でデータ利得をもたらし、特にメタデータとタイトル/要約機能が活用される場合に有効。