[論文レビュー] A Deep Learning approach for Hindi Named Entity Recognition

Bansi Shah, Sunil Kumar Kopparapu|arXiv (Cornell University)|Nov 5, 2019

Topic Modeling参考文献 11被引用数 7

ひとこと要約

この論文では、自己符号化器LSTM（DAE-LSTM）と条件付きLSTMをベースのBiLSTMモデルに組み合わせることで、ヒンディー語名前エンティティ認識（NER）のための階層的ディープラーニング手法を提案している。限定的なアノテーションデータという低リソース設定下でも、ベースラインよりF1スコアが向上し、特にその効果が顕著である。本手法では事前学習済みfastText埋め込みを用い、未知語問題に直面してもアーキテクチャの変更により性能向上が達成可能であることが示された。

ABSTRACT

Named Entity Recognition is one of the most important text processing requirement in many NLP tasks. In this paper we use a deep architecture to accomplish the task of recognizing named entities in a given Hindi text sentence. Bidirectional Long Short Term Memory (BiLSTM) based techniques have been used for NER task in literature. In this paper, we first tune BiLSTM low-resource scenario to work for Hindi NER and propose two enhancements namely (a) de-noising auto-encoder (DAE) LSTM and (b) conditioning LSTM which show improvement in NER task compared to the BiLSTM approach. We use pre-trained word embedding to represent the words in the corpus, and the NER tags of the words are as defined by the used annotated corpora. Experiments have been performed to analyze the performance of different word embeddings and batch sizes which is essential for training deep models.

研究の動機と目的

• ヒンディー語NERにおけるアノテーションデータの不足と、堅牢なNLPツールの欠如に対処すること。
• 低リソース状況下でもディープラーニングを用いてヒンディー語NERの性能を向上させること。
• 変形が豊富な言語におけるより良いエンティティタギングを実現するため、BiLSTMのアーキテクチャ的改善を検討すること。
• 単語埋め込みとバッチサイズがモデル学習および推論に与える影響を調査すること。
• ヒンディー語テキストにおける語彙内語（in-vocabulary）および語彙外語（out-of-vocabulary）語に対するモデルの頑健性を評価すること。

提案手法

• ヒンディー語NERのベースラインとして、低リソース状況に適応するように微調整されたベースのBiLSTMモデルを用いる。
• 単語埋め込みを再構築することで、頑健な表現を学習するための自己符号化器LSTM（DAE-LSTM）を導入する。
• 予測ラベルと文脈特徴に基づいてBiLSTM出力を精緻化する条件付きLSTMを実装する。
• 文字レベルおよび特徴ベースの表現と組み合わせて、事前学習済みfastText単語埋め込みを活用し、入力表現を豊かにする。
• 10kの生データおよび4kの処理済みトレーニングデータセットを用いてモデルを学習し、処理済みテストセットで評価する。
• 系列ラベル付けのためCRF層を適用し、Adam最適化アルゴリズムを用いて交差エントロピー損失を最適化する。

実験結果

リサーチクエスチョン

• RQ1 低リソース設定下で、標準的なBiLSTMと比較して自己符号化器LSTM（DAE-LSTM）がヒンディー語NERの性能を向上させられるか？
• RQ2 予測ラベルに条件付けたLSTM出力の処理が、ヒンディー語テキストのNER精度に与える影響は何か？
• RQ3 異なる単語埋め込みとバッチサイズが、ヒンディー語NERのための深層モデル学習に与える影響は何か？
• RQ4 なぜ語彙外語（OOV）語では性能が低下するのか？また、より優れた埋め込み戦略によりこれを緩和できるか？
• RQ5 階層的に複数のニューラルコンポonentをスタックすることで、単体のBiLSTMよりも優れたNER結果が得られるか？

主な発見

• DAE-LSTMモデルは処理済みテストセットでF1スコア0.81を達成し、ベースのBiLSTM（F1: 0.75）および条件付きLSTM（F1: 0.79）を上回った。
• BiLSTMアーキテクチャに条件付きLSTMを組み合わせたモデルは、生データおよび処理済みデータセットの両方で、ベースモデルより一貫した向上を示した（F1: 0.79）。
• 語彙外語（OOV）語では性能が著しく低下し、ベースLSTMはリコール0.24およびF1スコア0.31にとどまり、ゼロベクトル埋め込みの限界を示した。
• DAE-LSTMモデルが生成した単語埋め込み（w∗_i）は、既知の語と完全に一致しなかったため、意味の解釈を改善するための制約強制が必要であることが示唆された。
• 4kの処理済みデータで学習したモデルは、10kの生データで学習したモデル（F1: 0.75）よりもF1スコアが低かった（F1: 0.62）ことから、データ量が低リソースNERにおいて依然として重要な要因であることが確認された。
• 単語レベルでのBERT埋め込みの使用は検討されたが、256セルのLSTMアーキテクチャと次元の不一致（768D）のため、完全に実装されなかった。