[論文レビュー] Boosting Transformers for Job Expression Extraction and Classification in a Low-Resource Setting

Lukas Lange, Heike Adel+1 more|arXiv (Cornell University)|Sep 17, 2021

Natural Language Processing Techniques参考文献 10被引用数 4

ひとこと要約

本論文では、ドメインおよび言語に適応した事前学習、戦略的なデータ分割、トランスファー学習を用いて、低リソースのスペイン語臨床テキストにおける職業表現抽出および分類のためのマルチリンガル XLM-R トランスフォーマーのブースト手法を提案する。最良のモデルは、アンサンブル手法と言語固有の適応を用いることで、微調整済み XLM-R よりも最大 5.3 F1 ポints 向上し、抽出で 83.2 F1、分類で 79.3 F1 を達成した。

ABSTRACT

In this paper, we explore possible improvements of transformer models in a low-resource setting. In particular, we present our approaches to tackle the first two of three subtasks of the MEDDOPROF competition, i.e., the extraction and classification of job expressions in Spanish clinical texts. As neither language nor domain experts, we experiment with the multilingual XLM-R transformer model and tackle these low-resource information extraction tasks as sequence-labeling problems. We explore domain- and language-adaptive pretraining, transfer learning and strategic datasplits to boost the transformer model. Our results show strong improvements using these methods by up to 5.3 F1 points compared to a fine-tuned XLM-R model. Our best models achieve 83.2 and 79.3 F1 for the first two tasks, respectively.

研究の動機と目的

• 英語中心の NLP モデルでは非標準な言語およびドメインを有するスペイン語臨床テキストにおける低リソース情報抽出の課題に対処すること。
• スペイン語臨床言語およびドメインに適応することで、低リソース環境下におけるマルチリンガルトランスフォーマーモデルの性能を向上させること。
• 臨床 NLP の系列ラベル付けにおいて、ドメインおよび言語に適応した事前学習、トランスファー学習、戦略的なデータ分割の有効性を調査すること。
• 言語的・ドメイン的専門知識に依存せずに、MEDDOPROF 共同タスクにおける職業表現抽出および分類で最先端の結果を達成すること。
• 戦略的に分割されたデータで訓練されたモデルと関連タスクからのトランスファー学習を組み合わせたアンサンブル手法が、低リソース臨床 NER タスクの性能を顕著に向上させることを示すこと。

提案手法

• ドメインおよび言語に適応した事前学習のため、マスクされた言語モデル（MLM）を用いてスペイン語臨床テキストでマルチリンガル XLM-R モデルを微調整する。
• 標準 XLM-R、臨床特化型 XLM-R、一般ドメインスペイン語 XLM-R の 3 種類の XLM-R バリエーションを訓練し、言語およびドメイン適応の効果を検証する。
• ドキュメントの類似度に基づいてクラスタリングすることで、交差検証用に多様で情報豊富な訓練セットを生成する戦略的データ分割を実装する。
• 最初に 1 つのタスク（例：職業抽出）で学習し、その後 2 番目のタスク（例：職業分類）で微調整することで、トランスファー学習を適用する。
• 複数の XLM-R バリエーション、戦略的データ分割モデル、トランスファー学習モデルを組み合わせたモデルアンサンブルを構築し、耐性および性能を向上させる。
• 文の分割およびシーケンスラベリングをサブトークンレベルで実行するために、spaCy を用いたサブワードトークン化を採用し、NER のパフォーマンスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 XLM-R のドメインおよび言語に適応した事前学習は、スペイン語臨床職業表現抽出および分類のパフォーマンスにどのように寄与するか？
• RQ2 ドキュメントのクラスタリングによって作成された戦略的データ分割は、低リソース環境下でのモデル一般化および F1 スコア向上にどの程度寄与するか？
• RQ3 職業抽出（NER）から職業分類へのトランスファー学習は、分類性能を向上させるか？また、どのような条件下でこれが有効であるか？
• RQ4 複数のモデルバリエーションおよび訓練戦略を組み合わせたアンサンブル手法は、低リソース臨床 NLP タスクにおいて単一モデルの微調整と比較してどのように差がつくか？
• RQ5 一般ドメインスペイン語データと臨床特化データのどちらが、この低リソースタスクのモデルパフォーマンス向上に相対的に寄与しているか？

主な発見

• 戦略的データ分割に最適化されたスペイン語一般ドメイン XLM-R を微調整した XLM-R モデルのアンサンブルが、職業表現抽出で 83.2 F1 を達成し、ベースラインの微調整済み XLM-R よりも 5.3 F1 ポイント向上した。
• スペイン語一般ドメインデータで訓練されたモデルが、標準 XLM-R よりも臨床特化型 XLM-R よりも優れた性能を示し、抽出タスクにおいて一般ドメイン知識の恩恵があることを示した。
• 戦略的データ分割により、アンサンブルモデルの分類タスクで 2.3 F1 ポイント向上し、全モデルアンサンブル（S5）でさえも上回った。これは、多様な訓練データ分割の価値を示している。
• タスク 1（抽出）からタスク 2（分類）へのトランスファー学習により、最大 2.9 F1 ポイントの向上が得られ、関連性が高く、十分に学習された補助タスクがある場合に有効であることを示した。
• すべてのモデルを組み合わせたアンサンブル（S5）は、抽出で 81.4 F1、分類で 79.2 F1 を達成し、複数の戦略を統合することで耐性が向上することを示した。
• 戦略的データ分割を用いたアンサンブル（S3）の補正済み結果は、抽出で 81.8 F1、分類で 79.3 F1 を達成し、意図しないモデルの重複を考慮しても、この手法の有効性が確認された。