[論文レビュー] Team EP at TAC 2018: Automating data extraction in systematic reviews of environmental agents

Artur Nowak, Paweł Kunstman|arXiv (Cornell University)|Jan 7, 2019

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本論文では、環境要因の系統的レビューにおける自動的データ抽出を目的として、GloVeおよびELMo埋め込みを用いた、入れ違いで交互に配置されたLSTM-CRFアーキテクチャを採用した深層学習ベースの系列タギングシステムを提示する。モデルは、提出形式の誤りを是正した後、67.35%のマイクロ-F1スコアを達成し、100ドキュメントという小さなトレーニングデータセットにもかかわらず、TAC 2018 SRIEトラックのタスク1で1位を獲得した。

ABSTRACT

We describe our entry for the Systematic Review Information Extraction track of the 2018 Text Analysis Conference. Our solution is an end-to-end, deep learning, sequence tagging model based on the BI-LSTM-CRF architecture. However, we use interleaved, alternating LSTM layers with highway connections instead of the more traditional approach, where last hidden states of both directions are concatenated to create an input to the next layer. We also make extensive use of pre-trained word embeddings, namely GloVe and ELMo. Thanks to a number of regularization techniques, we were able to achieve relatively large capacity of the model (31.3M+ of trainable parameters) for the size of training set (100 documents, less than 200K tokens). The system's official score was 60.9% (micro-F1) and it ranked first for the Task 1. Additionally, after rectifying an obvious mistake in the submission format, the system scored 67.35%.

研究の動機と目的

• 系統的レビューにおける環境要因のデータ抽出を自動化することで、人的作業を削減し、証拠統合の速度を向上させること。
• 露出、投与量、アウトカムなどの実験設計要因の複雑で重複し、かつ不連続な記載を抽出するという課題に対処すること。
• 24のエンティティクラスを扱える、低リソースで高変動性を示す生物医学的テキストに強い系列タギングモデルの開発。
• アーキテクチャの選択、データ拡張、事前学習済み埋め込みの影響が、低リソース環境下での性能に与える影響を評価すること。

提案手法

• 双方向隠れ状態を連結するのではなく、交互に配置されたLSTM層を用いたカスタムBI-LSTM-CRFアーキテクチャを採用した。
• GloVeおよびELMoから得られる事前学習済み語の埋め込みを統合し、PubMedデータ上でELMoを微調整することでドメイン適合性を向上させた。
• 100ドキュメント（約20万トークン）という小さなトレーニングデータセットでも過学習を抑制するため、ドロップアウトや早期停止を含む広範な正則化技術を適用した。
• 逆方向翻訳によるデータ拡張を実施し、トレーニングの多様性を高め、一般化性能を向上させた。
• 注意機構と隠れ状態の伝播を用いた文レベルおよびドキュメントレベルの文脈モデリングを実装したが、これらは最適な結果をもたらさなかった。
• アブレーションスタディとして、ハイウェイ接続や重複処理、ELMoの微調整といったコンponentsを段階的に削除することで、それらの影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 低リソースの生物医学的系列タギングにおいて、入れ違いLSTMアーキテクチャは標準的なスタックドLSTMと比べてどのように異なるか？
• RQ2 ELMo や GloVe といった事前学習済み埋め込みは、環境的系統的レビューにおける希少で複雑なエンティティクラスの性能にどの程度寄与するか？
• RQ3 バックトランスレーションのようなデータ拡張技術は、小規模データ設定下でのモデルの一般化性能にどのような影響を与えるか？
• RQ4 文脈的に直感的であるにもかかわらず、ドキュメントレベルの文脈モデリング技術が性能向上に寄与しないのはなぜか？
• RQ5 アーキテクチャの選択と正則化戦略は、高変動性・低リソースなNLPタスクにおけるモデル容量と一般化性能にどのように影響を与えるか？

主な発見

• 提出形式の誤りを是正した後、モデルは67.35%のマイクロ-F1スコアを達成し、TAC 2018 SRIEトラックのタスク1で1位を獲得した。
• 100ドキュメント（約20万トークン）というわずかなデータセットで学習されたにもかかわらず、正則化のおかげで3,100万以上のトレーニング可能なパラメータを持つ高いモデル容量を実現した。
• アブレーションスタディの結果、標準的なスタックドLSTM（LSTM-800）が交差検証ではカスタムの入れ違いアーキテクチャを上回ったが、テスト性能は一貫性に欠けた。
• 重複処理の削除（NO-OVERLAPS）によりF1スコアが著しく低下（67.35%から66.47%に）したため、不連続な記載の抽出においてその機能の重要性が示された。
• 翻訳によるデータ拡張（NO-TRANSLATIONS）は、想定よりも小さな影響にとどまり、この特定の設定では恩恵が限定的であることが示唆された。
• PubMedデータ上でELMoを微調整しない（NO-ELMO-FINETUNING）と、性能が1.93ポイント低下したため、ドメインの不一致や過学習の可能性が示唆された。