[論文レビュー] An Analysis of Simple Data Augmentation for Named Entity Recognition

Xiang Dai, Heike Adel|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 37被引用数 9

ひとこと要約

この論文は、名前付きエンティティ認識（NER）というトークンレベルの系列ラベル付けタスクにおいて、単純なデータ拡張技術の有効性を調査している。同研究では、同義語置換、メンション置換、語のシャッフルといった手法を、エンティティラベルを保持する形で適応応用している。生物医学および材料科学のデータセットを用いた実験の結果、これらの技術は特に小規模な学習データセットにおいて顕著な性能向上をもたらし、強力なBERTベースのベースラインを上回るF1スコアを最大4.4ポイント向上させた。

ABSTRACT

Simple yet effective data augmentation techniques have been proposed for sentence-level and sentence-pair natural language processing tasks. Inspired by these efforts, we design and compare data augmentation for named entity recognition, which is usually modeled as a token-level sequence labeling problem. Through experiments on two data sets from the biomedical and materials science domains (i2b2-2010 and MaSciP), we show that simple augmentation can boost performance for both recurrent and transformer-based models, especially for small training sets.

研究の動機と目的

• 生物学的分野や材料科学といった特殊分野における低リソースNERの課題に取り組むこと。これらの分野ではラベル付きデータが乏しく、収集に費用がかかる。
• 従来、文レベルNLPで効果を示した単純な非生成的データ拡張技術が、トークンレベルのNERタスクに適応可能かどうかを調査すること。
• 再帰的モデルおよび変換器ベースのモデルの両方に対して、さまざまな拡張戦略の有効性を評価すること。特にデータが乏しい状況下での性能を重視する。
• 特に学習データが限られた状況において、強力な事前学習モデル（例：BERT）を上回る性能向上がデータ拡張によって達成されるかどうかを検証すること。

提案手法

• 文レベルNLPから借用した4つのデータ拡張技術（同義語置換、メンション置換、セグメント内語のシャッフル、ラベル別トークン置換）をNERに適応する。
• 元のエンティティラベルを保持する形で、トークンレベルでの変換を実施し、拡張されたインスタンスが系列ラベル付けタスクにおいて有効であることを保証する。
• 同義語置換にはWordNetを、メンション置換にはエンティティタイプの一貫性を用いて、意味的およびラベルの妥当性を維持する。
• 文のセグメント（例：節やフレーズ）内で語のシャッフルを実装し、ラベルを変更せずに文法的に妥当なバリエーションを生成する。
• すべての拡張手法を統合して1つの戦略とし、学習データの多様性を高める一方で、ラベルの一貫性をモニタリングする。
• 拡張済みデータおよび元のデータを用いて、双方向LSTMおよびBERTベースのモデルを学習し、スパンレベルのF1スコアを指標に性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 文レベルNLP向けに開発された単純な非生成的データ拡張技術が、トークンレベルのNERタスクに効果的に適応可能か？
• RQ2 特に小規模な学習データセットにおいて、どのデータ拡張戦略が最も高い性能向上をもたらすか？
• RQ3 複数の拡張手法を組み合わせることで、単一の手法を用いる場合よりも良好な一般化性能が得られるか？
• RQ4 BERTのような強力な事前学習変換器モデルに適用した場合、これらの拡張は、初期から学習を開始したモデルに比べてどの程度効果的か？
• RQ5 特に学習データが50または150件に制限された状況において、データ拡張が性能の低下を緩和するのに有効か？

主な発見

• すべてのデータ拡張技術が、再帰的モデルおよび変換器ベースのモデルにおいてベースラインを上回る性能向上をもたらした。特に小規模な学習データセット（例：50件）で顕著な向上が観察された。
• BERTベースのモデルでは、同義語置換が平均で4.4ポイントのF1スコア向上を達成し、最も高い改善を示した。一方、再帰的モデルではメンション置換が最も効果的であった。
• すべての拡張手法を統合した戦略が最良の平均性能を示し、再帰的モデルではF1スコアを3.3ポイント、変換器モデルでは1.8ポイント向上させた。
• 完全な学習データセットでは、一部の拡張手法が性能をわずかに低下させる傾向が見られた。これは、データの多様性と拡張インスタンスの妥当性のトレードオフを示唆している。
• 最大の性能向上は、学習データが最小限の状況で発生した。例えば、MaSciPデータセットでは50件の学習インスタンスでのF1スコアが最大4.4ポイント向上した。
• 強力なBERTベースのモデルに対しても、拡張による測定可能な向上が観察された。これは、大規模事前学習が行われたモデルに対しても、データ拡張が依然として有益であることを示している。