[論文レビュー] DiffusionNER: Boundary Diffusion for Named Entity Recognition

Yongliang Shen, Kaitao Song+4 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 6

ひとこと要約

DiffusionNER は、ノイズのあるスパンに対して境界ノイズ除去拡散プロセスとして NER を定式化することで、命名参照認識のための画期的な生成的手法を提案する。ノイズのあるスパンを段階的に修正する逆拡散モデルを学習し、正確なエンティティ境界を回復させる。自己回帰的手法と比較して、より高速で動的かつ並列な推論が可能であり、フラットおよびネスト型 NER ベンチマークで最先端または競争力のある性能を達成した。

ABSTRACT

In this paper, we propose DiffusionNER, which formulates the named entity recognition task as a boundary-denoising diffusion process and thus generates named entities from noisy spans. During training, DiffusionNER gradually adds noises to the golden entity boundaries by a fixed forward diffusion process and learns a reverse diffusion process to recover the entity boundaries. In inference, DiffusionNER first randomly samples some noisy spans from a standard Gaussian distribution and then generates the named entities by denoising them with the learned reverse diffusion process. The proposed boundary-denoising diffusion process allows progressive refinement and dynamic sampling of entities, empowering DiffusionNER with efficient and flexible entity generation capability. Experiments on multiple flat and nested NER datasets demonstrate that DiffusionNER achieves comparable or even better performance than previous state-of-the-art models.

研究の動機と目的

• 自己回帰的生成に基づく NER モデルの非効率性と露出バイアスを解消するため、非自己回帰的かつ拡散ベースの代替手法を導入すること。
• 画像や音声生成に使用されてきた拡散モデルを、抽出的 NLP タスク（例：NER）における離散的テキスト系列に応用することの可能性を探ること。
• エンティティスパンの数をトレーニング制約から分離することで、動的かつ柔軟なエンティティ生成を可能にすること。
• 繰り返しのノイズ除去によってエンティティ境界を改善し、フラットおよびネスト型エンティティ認識の両方における正確性を向上させること。

提案手法

• エンティティ境界が固定された前向きプロセスでガウスノイズによって段階的に劣化する境界ノイズ除去拡散プロセスとして NER を定式化する。
• トレーニング中に、ノイズのあるスパンを段階的に修正して正解のエンティティ境界を回復するためのノイズ除去ネットワークを用いて逆拡散プロセスを学習する。
• 推論時、標準ガウス事前分布からノイズのあるスパンをサンプリングし、学習済みの逆プロセスを用いてエンティティを生成する。これにより、スパン間で並列生成が可能になる。
• 推論効率を向上させるために、タイムステップ間で共有されたトランスフォーマーエンコーダーを採用し、テスト時に異なる数のノイズのあるスパンを動的サンプリング可能にする。
• ノイズのあるスパン間の自己アテンションと、入力文へのクロスアテンションを備えたスパンエンコーダーを用い、相互作用をモデル化し、境界予測の精度を向上させる。
• ノイズ強度をタイムステップに応じて制御するための分散スケジューラ（コサインまたは線形）を適用し、各データセットで最適なパフォーマンスを得るためにハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 離散的テキスト系列における抽出的 NLP タスク（例：命名参照認識）に、拡散モデルを効果的に適応できるか？
• RQ2 自己回帰的生成と比較して、境界ノイズ除去拡散プロセスがエンティティ境界の修正および一般化性能を向上させるか？
• RQ3 DiffusionNER は、自己回帰的でない推論を実現しつつ、より高速で動的スパンサンプリングを可能にし、競争力のあるパフォーマンスを達成できるか？
• RQ4 事前学習言語モデル、アテンション機構、分散スケジューラなどのアーキテクチャ的選択に、モデルのパフォーマンスがどれほど感受性を示すか？

主な発見

• DiffusionNER は、6つのフラットおよびネスト型 NER データセットで最先端または競争力のあるパフォーマンスを達成した。RoBERTa-Large を用いて ACE04 で 88.99 F1、CoNLL03 で 92.89 F1 を記録した。
• トレーニング時に使用するノイズのあるスパンの数に強く依存せず、K=60、120、150 のいずれの設定でも安定した性能を示し、拡張戦略への感受性が低いことが示された。
• ランダム拡張戦略が繰り返し拡張戦略を上回り、K=120 の条件下で ACE04 で 88.53 F1、CoNLL03 で 92.79 F1 を達成した。
• ACE04 ではコサインスケジューラが最良の結果（T=1000 時に 88.39 F1）を示したが、CoNLL03 では線形スケジューラが最良のパフォーマンス（T=1500 時に 92.87 F1）を記録した。
• アブレーションスタディの結果、スパン間の自己アテンションと入力文へのクロスアテンションの両方が不可欠であることが確認され、それぞれ削除するとパフォーマンスが 1.37% および 1.15% 低下した。
• 共有エンコーダーをタイムステップ間で共有することで効率が向上し、自己回帰的手法と比較してより高速かつ柔軟な推論が可能であることが示された。