[論文レビュー] Informed Named Entity Recognition Decoding for Generative Language Models

Tobias Deußer, Lars Hillebrand+2 more|arXiv (Cornell University)|Aug 15, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文では、 hallucination を防ぎ、性能を向上させるためのインformedデコード戦略を用いた大規模言語モデルを用いて命名エンティティ認識（NER）を生成的タスクとして扱う、iNERDという新しいフレームワークを提案する。粗微調整を統合されたNERコーパスで実施し、特別トークンを用いて構造化された生成フォーマットを強制することで、iNERDは特にゼロショットおよびオープンボキャブラリー設定において最先端の結果を達成し、再訓練なしに適応性と頑健性に優れる従来のエンコーダーのみのモデルを上回る性能を発揮する。

ABSTRACT

Ever-larger language models with ever-increasing capabilities are by now well-established text processing tools. Alas, information extraction tasks such as named entity recognition are still largely unaffected by this progress as they are primarily based on the previous generation of encoder-only transformer models. Here, we propose a simple yet effective approach, Informed Named Entity Recognition Decoding (iNERD), which treats named entity recognition as a generative process. It leverages the language understanding capabilities of recent generative models in a future-proof manner and employs an informed decoding scheme incorporating the restricted nature of information extraction into open-ended text generation, improving performance and eliminating any risk of hallucinations. We coarse-tune our model on a merged named entity corpus to strengthen its performance, evaluate five generative language models on eight named entity recognition datasets, and achieve remarkable results, especially in an environment with an unknown entity class set, demonstrating the adaptability of the approach.

研究の動機と目的

• 生成的言語モデルと抽出的NLPタスク（例：命名エンティティ認識（NER））の間のギャップを埋めること。
• エンコーダーのみのモデルが動的または未知のエンティティクラスを処理する際の限界を、デコーダーのみのLLMの言語理解力を利用することで克服すること。
• 生成されたトークンが有効なエンティティ構造に制限されることで、 hallucination を防止するデコード戦略を開発すること。
• 再トレーニングなしに、新しいまたは未知のエンティティクラスにモデルの適応性を高めること。

提案手法

• モデルは特別トークンを用いて構造化されたフォーマットでテキストを生成する： <CT> はエンティティの開始を示し、 <TCS> はエンティティタイプと内容を分離し、 <ES> は異なるエンティティを分離する。
• インフォームドデコードアルゴリズムは生成中に許可されていないトークンをマスクすることで、有効なエンティティスパンのみを生成し、 hallucination を排除する。
• モデルは、NERタスクの文脈的認識を強化するために、統合された命名エンティティコーパスで粗微調整される。
• フレームワークは任意のデコーダーのみのLLMと互換性があり、新しいモデルが登場するたびに容易にアップグレード可能で、将来に耐える。
• アプローチはNERをシーケンス生成問題として扱い、強い構造的制約のもとでエンドツーエンドのトレーニングと推論を可能にする。
• デコードプロセスは固定出力スキーマを強制することで、探索空間を縮小し、生成の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルを用いてNERを生成的タスクとして再定式化することは、性能を損なわず、hallucinationを引き起こさずに効果的に可能か？
• RQ2 構造的制約を伴うインフォームドデコードは、標準的な自己回帰的生成と比較して、NER性能をどのように向上させるか？
• RQ3 統合されたNERコーパスでの粗微調整は、未知のエンティティクラスを含むゼロショットおよびフェイントショット一般化において、生成的LLMの性能をどの程度向上させるか？
• RQ4 従来のエンコーダーのみのモデルと比較して、未知またはオープンボキャブラリーのエンティティクラス設定下でのiNERDフレームワークの性能はいかがなっているか？
• RQ5 提案手法は、再トレーニングなしに一般、バイオメディカル、金融テキストなど多様なドメインで高い性能を維持できるか？

主な発見

• iNERDフレームワークは、CoNLL-2003、CoNLL++、およびバイオメディカルおよび金融分野のデータセットを含む8つのベンチマークNERデータセットで最先端の性能を達成した。
• インフォームドデコードをベースモデルに適用した場合、CoNLL-2003およびCoNLL++でF1スコアが約4%向上した。
• 統合されたNERコーパスでの粗微調整は、特に未知のエンティティクラスを含むゼロショットおよびフェイントショット設定での性能を顕著に向上させた。
• アブレーションスタディの結果、粗微調整とインフォームドデコードの両方が不可欠であることが確認され、再トレーニングなしの設定で両者を削除すると性能がほぼゼロにまで低下した。
• モデルは再トレーニングなしに新しいエンティティクラスに強く適応でき、動的またはオープンボキャブラリーのシナリオにおいて従来のエンコーダーのみのモデルを上回った。
• フレームワークは多様なドメインで高い性能を維持しており、その頑健性と一般化能力を示している。