[論文レビュー] Scientific Information Extraction with Semi-supervised Neural Tagging

Yi Luan, Mari Ostendorf+1 more|arXiv (Cornell University)|Aug 21, 2017

Advanced Text Analysis Techniques参考文献 32被引用数 9

ひとこと要約

本稿では、科学的情報抽出のための半教師付きニューラルタギングモデルを提案する。キーフレーズ同定問題を系列タギングとして定式化し、信頼度を考慮したデータ選択とグラフベースのラベル伝搬を活用することで、リソースが限られた科学的テキストにおいて性能を向上させる。2017年SemEval Task 10 ScienceIEベンチマークにおいて最先端の結果を達成し、推論型手法が帰納型手法を最大8.6%相対的に上回った。

ABSTRACT

This paper addresses the problem of extracting keyphrases from scientific articles and categorizing them as corresponding to a task, process, or material. We cast the problem as sequence tagging and introduce semi-supervised methods to a neural tagging model, which builds on recent advances in named entity recognition. Since annotated training data is scarce in this domain, we introduce a graph-based semi-supervised algorithm together with a data selection scheme to leverage unannotated articles. Both inductive and transductive semi-supervised learning strategies outperform state-of-the-art information extraction performance on the 2017 SemEval Task 10 ScienceIE task.

研究の動機と目的

• 科学的ドメインにおけるアノテート済みデータの不足により生じるリソースが限られた科学的情報抽出の課題に対処すること。
• タスク、プロセス、材料の3つのカテゴリについて、問題を系列タギングとして定式化することでキーフレーズ抽出を改善すること。
• 大規模な未ラベル付き科学論文を活用する半教師付き学習により、性能を向上させること。
• ドメイン内とドメイン外の未ラベル付きデータ、およびデータ選択戦略がモデルの汎化性能に与える影響を調査すること。
• 科学的キーフレーズ分類における失敗モードとドメイン固有の課題を分析すること。

提案手法

• ScienceIEデータセットから得た少量のアノテート済み科学的段落を用いて、階層的LSTM-CRFニューラルタギングモデルを訓練する。
• 類似度グラフに基づくラベル伝搬を適用し、文の表現の類似度に基づいて未ラベル文の事後確率を推定する。
• 低信頼度の予測を欠損ラベルとして扱い、損失計算時にそれらを周辺化する信頼度を考慮した学習目的関数を導入する。
• 高信頼度の未ラベル例をフィルタリング・優先順位付けするデータ選択スキーム（ULM）を採用し、トレーニングループに統合する。
• 一般化性能の向上を図るため、帰納型（自己学習）と推論型（グラフベース）の両方の半教師付き学習戦略を検討する。
• ドメイン内事前学習済み単語埋め込みと文字レベルの埋め込みを用いて、希少語やドメイン固有語の表現学習を強化する。

実験結果

リサーチクエスチョン

• RQ1 アノテート済みデータが限られる状況下で、半教師付き学習が科学的テキストにおけるキーフレーズ抽出性能を顕著に向上させられるか？
• RQ2 帰納型と推論型の半教師付き学習戦略は、科学的情報抽出において性能と一般化能力の面でどのように比較できるか？
• RQ3 ドメイン内とドメイン外の未ラベル付きデータを使用した場合、モデルの性能と頑健性にどのような影響を与えるか？
• RQ4 信頼度を考慮した学習目的関数とデータ選択スキームは、モデルの収束とラベル付け精度にどのように影響するか？
• RQ5 特に希少カテゴリの「タスク」に対して、キーフレーズ同定における主な失敗モードと誤りパターンは何か？

主な発見

• 提案された半教師付きモデルは、2017年SemEval Task 10 ScienceIEベンチマークで最先端の性能を達成し、従来の教師あり学習およびマルチタスク学習アプローチを上回った。
• 推論型手法であるULM+GraphFeat*は、純粋な自己学習に比べて8.6%相対的に性能向上を示し、信頼度を考慮した学習とグラフベースのラベル伝搬の有効性を裏付けた。
• 帰納型手法であるULM+GraphInterpは、自己学習に比べて5.6%相対的に性能向上を示し、帰納型半教師付き学習も顕著な向上をもたらすことを示した。
• 「タスク」カテゴリの性能は「プロセス」と「材料」に比べて顕著に低く、主に頻度が低く、動詞句が使われているため検出が難しいことが要因である。
• ULM+GraphFeat*を用いることで、「プロセス」と「材料」の誤分類率がそれぞれ3.5%および3.6%低下し、カテゴリ識別性能の向上が確認された。
• 誤り分析の結果、一般的な失敗ケースとして「to」の直後に続く動詞句の欠落、一般語（例：receptors）や形容詞（例：neighbouring）の誤分類、および「SWE」のような曖昧語の文脈不足が判明した。