[論文レビュー] Data Augmentation for Low-Resource Named Entity Recognition Using Backtranslation

Usama Yaseen, Stefan Langer|arXiv (Cornell University)|Aug 26, 2021

Topic Modeling参考文献 38被引用数 10

ひとこと要約

本稿では、低リソース named entity recognition (NER) のためのデータ拡張技術としてのバックトランスレーションを提案する。元のテキストを目的言語に翻訳し、再び元の言語に翻訳することで、言語的に多様で意味的に保存された合成文を生成する。生体医薬品（S800）および材料科学（MaSciP）のデータセットを用いた実験では、バックトランスレーションがNER性能を顕著に向上させ、特に訓練データが限られた状況で、ヒューリスティック的手法および生成的手法のベースラインをF1スコアおよびユニグラム多様性の両面で上回った。

ABSTRACT

The state of art natural language processing systems relies on sizable training datasets to achieve high performance. Lack of such datasets in the specialized low resource domains lead to suboptimal performance. In this work, we adapt backtranslation to generate high quality and linguistically diverse synthetic data for low-resource named entity recognition. We perform experiments on two datasets from the materials science (MaSciP) and biomedical domains (S800). The empirical results demonstrate the effectiveness of our proposed augmentation strategy, particularly in the low-resource scenario.

研究の動機と目的

• 専門家がアノテートしたデータが少なく、収集に費用がかかる医療や材料科学などの低リソースドメインにおける、不十分なNER性能の課題に対処すること。
• 文法的整合性の欠如や言語資源への依存、言語的多様性の不足といった、従来の系列ラベル付けのためのデータ拡張手法の限界を克服すること。
• 依存解析器やWordNetなどの外部言語資源を必要としない、高品質で言語的に多様な合成トレーニングデータを生成するデータ拡張戦略を開発すること。
• 特に訓練データが限られた状況において、バックトランスレーションが低リソース環境におけるNERに有効であることを示すこと。
• ドメイン特化型NERデータセットを用いて手法の一般化能力を評価し、特化した科学的ドメイン間での汎用性を示すこと。

提案手法

• 元の文を目的言語（例：英語→ドイツ語）に翻訳し、再び元の言語に翻訳することでバックトランスレーションを実行し、元のエンティティラベルを保持する。
• セグメントごとに翻訳を適用する際、セグメントを翻訳する確率をベータ分布を用いて決定する。
• 両方向翻訳に事前学習済みの多言語トランスフォーマーモデル（例：FacebookのWMT19英語–ドイツ語モデル）を用い、高品質な翻訳を実現する。
• 元の文をバックトランスレーションされたバージョンに置き換えることで合成トレーニング例を生成し、元のNERアノテーションを維持する。
• GloVeまたはSciBERT埋め込みを用い、元データと拡張データの両方でBiLSTM-CRFモデルを微調整する。
• グリッドサーチを用いてハイパーパrameterを最適化する：1インスタンスあたりの拡張サンプル数（1～10）およびセグメント選択の確率閾値（0.1～0.7）

実験結果

リサーチクエスチョン

• RQ1 外部言語資源に依存せずに、高品質で言語的に多様な合成データを効果的に生成できるか、バックトランスレーションは低リソースNERに有効か？
• RQ2 ルールベースおよび生成的手法のデータ拡張手法と比較して、バックトランスレーションは低リソース環境におけるNER性能向上にどの程度優れているか？
• RQ3 訓練データサイズが増加するに従い、バックトランスレーションによる性能向上の効果は減少するか？もしそうならば、どの規模でその傾向が現れるか？
• RQ4 ユニグラムレベルの類似度（distinct-1）で測定した場合、バックトランスレーションは生成された系列の多様性をどの程度向上させるか？
• RQ5 ドメイン特化型の文脈的埋め込み（例：SciBERT）を用いた場合、非文脈的埋め込み（GloVe）と比較して、バックトランスレーションの相対的利点はどのように変化するか？

主な発見

• バックトランスレーションは、S800およびMaSciPの両データセットにおいて、平均F1スコアの向上が最も顕著であり、特にデータが少ない状況で、すべてのベースライン拡張手法を上回った。
• S800データセットでは、訓練データの10%しか使用しなかった場合でも、バックトランスレーションがベースライン比最大4.2ポイントのF1スコア向上を達成し、低リソース環境で最大の向上が得られた。
• バックトランスレーションは、すべての手法の中で最高のユニグラム多様性（distinct-1）を達成しており、意味的およびラベルの一貫性を保ちつつ、言語的に多様な言い換えを生成できることを裏付けた。
• データ拡張による性能向上は、訓練セットサイズが増加するに従い減少し、一部の拡張手法では完全な訓練セットでは性能が低下する傾向も示され、過学習やノイズの注入の可能性を示唆した。
• SciBERT埋め込みを用いた場合、GloVeを用いた場合と比較して、拡張による平均F1スコアの向上が小さくなった。これは、事前学習済みのドメイン特化型モデルが、拡張の相対的利点を低下させる可能性を示唆している。
• バックトランスレーションの最良のハイパーパramータ設定は、1インスタンスあたり2～3個の拡張サンプルを生成し、セグメント選択確率を0.3～0.5とするものであり、開発セットでのグリッドサーチにより特定された。