[論文レビュー] VTCC-NLP at NL4Opt competition subtask 1: An Ensemble Pre-trained language models for Named Entity Recognition

Xuan-Dung Doan|arXiv (Cornell University)|Dec 14, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、NL4Opt コンペティションのサブタスク1において名前付きエンティティ認識（NER）のパフォーマンスを向上させるために、XLM-R、BART、DeBERTa-V3 の3つの事前学習済み言語モデルのアンサンブルを提案する。文脈的埋め込みを平均化して統合し、順序付きラベル付けのためのCRF層を用いることで、テストセットで92.9%のF1スコアを達成し、5位（第5位）の順位を獲得した。多様な文脈的表現を活用したアプローチが有効であることが示された。

ABSTRACT

We propose a combined three pre-trained language models (XLM-R, BART, and DeBERTa-V3) as an empower of contextualized embedding for named entity recognition. Our model achieves a 92.9% F1 score on the test set and ranks 5th on the leaderboard at NL4Opt competition subtask 1.

研究の動機と目的

• 低リソースおよびクロスドメインのテキストにおける Named Entity Recognition (NER) のパフォーマンスを向上させること。
• 複数の事前学習済みモデルを組み合わせることで、NERにおける文脈的表現を強化する有効性を調査すること。
• さまざまなドメインにまたがるフラットNERタスクにおいて、アンサンブル手法が個々のモデルを上回る性能を発揮するかどうかを検証すること。
• ELMo や GCN といった補助的コンponentsが、アンサンブルモデルのパフォーマンスに与える影響を評価すること。
• 強固でマルチモデルのアンサンブルアプローチを用いて、NL4Opt コンペティションのサブタスク1のテストセットで最先端の結果を達成すること。

提案手法

• モデルは、同じ入力文を処理する3つの事前学習済み言語モデル（XLM-R、BART、DeBERTa-V3）を用い、文脈的埋め込みを生成する。
• 各モデルに応じたサブワードトークン化が選択され、各モデルの出力系列長が最小となる表現が選択され、モデル間の一貫性を確保する。
• 3つのモデルの文脈的埋め込みを平均化して統合表現を形成する：$ V = \frac{1}{3}(V_1 + V_2 + V_3) $、ここで $ V_1, V_2, V_3 $ はそれぞれ BART、XLM-R、DeBERTa-V3 の出力である。
• 平均化された埋め込みは、構造的予測を行う線形チェーン型条件付き確率場（CRF）層を通過し、BIOタグ付きの系列を予測する。
• CRF層は遷移スコアと発生スコアを用いて条件付き確率 $ p_{\theta}(y|\hat{x}) $ を計算し、負の対数尤度損失を最適化する。
• モデル選定は開発セットでの最高F1スコアに基づき、エポックごとにチェックポイントを保存し、最良のモデルを推論に使用する。

実験結果

リサーチクエスチョン

• RQ1 複数の事前学習済み言語モデルを埋め込みの平均化によって統合することで、クロスドメインおよび低リソーステキストにおけるNERパフォーマンスが向上するか？
• RQ2 XLM-R、BART、DeBERTa-V3 のアンサンブルは、個々のモデルと比較して、F1スコアおよびドメイン間でのロバスト性において優れているか？
• RQ3 ELMo や GCN ベースの特徴の統合が、NL4Opt データセットにおけるアンサンブルモデルのパフォーマンスを向上させるか？
• RQ4 交通、生産、科学など未学習ドメインでのテストにおいて、アンサンブル手法がパフォーマンスを維持または向上させる程度はどの程度か？
• RQ5 多様な事前学習済みモデルからの平均化された文脈的埋め込みと組み合わせた場合、CRF層が系列レベルの予測を効果的に改善するか？

主な発見

• XLM-R、BART、DeBERTa-V3 を埋め込みの平均化によって統合したアンサンブルモデルは、NL4Opt コンペティションのテストセットで92.9%のF1スコアを達成した。
• 開発セットにおいて、アンサンブルモデルはすべての個別モデルを上回った。多様な事前学習済み表現を統合することでパフォーマンスが向上することが実証された。
• ELMo の使用はベースラインモデルのパフォーマンスを向上させたが、アンサンブルモデルに適用した場合、精度が低下した。これは干渉の可能性を示唆している。
• 依存解析を模倣したGCN統合もベースラインではパフォーマンスを向上させたが、アンサンブルモデルでは性能が劣化した。これは、GCNとアンサンブル戦略との相性不良を示唆している。
• 最終モデルはNL4Opt コンペティションのランクインで第5位を達成し、クロスドメインNERタスクにおけるアンサンブルアプローチの有効性を裏付けた。
• 学習率1e-4、勾配蓄積4を用い、1枚の40GB A100 GPUで50エポックの訓練後に最適なパフォーマンスが得られた。