[論文レビュー] NeuroNER: an easy-to-use program for named-entity recognition based on neural networks

Franck Dernoncourt, Ji-Young Lee+1 more|arXiv (Cornell University)|May 15, 2017

Topic Modeling被引用数 5

ひとこと要約

NeuroNERは、深層ニューラルネットワークを活用して、NERタスクで最先端の性能を達成する、アクセスしやすいウェブ統合型の名前付きエンティティ抽出ツールです。BRATと連携することで、アノテーション・学習・予測のワークフローを簡素化し、技術的負担を最小限に抑えながら、非専門家がデータのアノテーション、モデルの学習、予測のデプロイが可能になっています。ハイパーパrameterチューニングなしで、CoNLL 2003ではF1スコア90.5%、i2b2 2014では97.7%を達成しています。

ABSTRACT

Named-entity recognition (NER) aims at identifying entities of interest in a text. Artificial neural networks (ANNs) have recently been shown to outperform existing NER systems. However, ANNs remain challenging to use for non-expert users. In this paper, we present NeuroNER, an easy-to-use named-entity recognition tool based on ANNs. Users can annotate entities using a graphical web-based user interface (BRAT): the annotations are then used to train an ANN, which in turn predict entities' locations and categories in new texts. NeuroNER makes this annotation-training-prediction flow smooth and accessible to anyone.

研究の動機と目的

• 最先端のニューラルネットワークベースのNERシステムは通常、非専門家にとってアクセスしづらいという使いやすさのギャップを解消すること。
• 名前付きエンティティ抽出をウェブベースのアノテーションツール（BRAT）と統合し、アノテーション、学習、予測のパイプラインを簡素化すること。
• 完全にアクセス可能でオープンソースのソリューションを提供し、モデルをゼロから学習するのと、事前学習済みモデルを用いたデプロイを両方サポートすること。
• 人間のラベリングとニューラル予測の間のインタラクティブなフィードバックループにより、アノテーションとモデル性能を段階的に改善できるようにすること。
• ハイパーパrameter最適化を必要とせず、最高の公表済み手法と同等の性能をベンチマークデータセットで達成すること。

提案手法

• NeuroNERは、3層のニューラルネットワークアーキテクチャを採用：文字強化付きトークン埋め込み層、ラベル予測層、ラベル系列最適化層。
• 学習にはTensorFlowを活用し、トレーニング中の損失、F1スコア、混同行列のリアルタイム監視にTensorBoardを統合。
• 入力データはBRAT形式またはCoNLL-2003形式を想定し、それぞれ学習用、検証用、テスト用、デプロイ用の別々のセットをサポート。
• ユーザーが提供するアノテート済みデータに対するファインチューニングと、事前学習済みモデルおよび事前学習済み語彙埋め込み（word2vecまたはGloVe）を用いた推論を両方サポート。
• インターフェースにより、予測の可視化、インタラクティブなアノテーション改善、性能向上を目的とした繰り返しのモデル再学習が可能。
• GPUアクセcelerationをサポートし、セットアップスクリプトを介してLinux、Mac OS X、Windowsにデプロイ可能。

実験結果

リサーチクエスチョン

• RQ1 ユーザーフレンドリーなインターフェースを備えたニューラルネットワークベースのNERシステムは、非専門家ユーザーにとってアクセス可能になるか？
• RQ2 デフォルトのハイパーパrameterを用いた場合、ニューラルネットワークベースのNERシステムの性能は、最先端の手法と比べてどの程度か？
• RQ3 BRATとの統合により、NERタスクにおけるアノテーションおよびモデルトレーニングワークフローはどの程度改善されるか？
• RQ4 事前学習済みモデルと埋め込みは、NERアプリケーションにおけるラベル付きデータの必要性とトレーニング時間の短縮にどの程度寄与するか？
• RQ5 人間のアノテーションとニューラルモデルの再学習の間のインタラクティブフィードバックループは、NER精度の向上にどの程度効果的か？

主な発見

• NeuroNERはCoNLL 2003テストセットでF1スコア90.5%を達成し、最高の公表済み結果（90.9%）に非常に近い性能を示した。
• i2b2 2014データセットでは、F1スコア97.7%を達成し、最高の公表済み結果（97.9%）とほぼ同等の性能を示した。
• ハイパーパrameterチューニングなしで競争力のある性能を発揮し、出荷時から高い性能を示した。
• TensorBoardによるリアルタイム監視により、トレーニング中の進行状況（F1スコアの推移や混同行列など）を追跡可能。
• BRATとの統合により、アノテーション、モデルの再トレーニング、予測の可視化がスムーズに行えるようになり、ワークフローの摩擦が著しく低減された。
• 事前学習済みモデルと埋め込みが利用可能で、ラベル付きデータや長時間のトレーニングが不要な状態でNERシステムをデプロイできる。