[論文レビュー] Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation

Ishan Jindal, Ranit Aharonov+3 more|arXiv (Cornell University)|Nov 29, 2020

Natural Language Processing Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークの活性化をメモリに保存し、その中からK番目の近隣のパラメータ化された表現を活用することで、意味的役割抽出（SRL）の性能を向上させる、パrameterized Neighborhood Memory Adaptation（PNMA）を提案する。これらの適応的近傍ベクトルを用いて分類層を再訓練することで、PNMAは多様な設定においてSRL性能を向上させ、CoNLL2005では80.2%、CoNLL2009では84.97%という最先端のF1スコアを達成した。特に、BERTと組み合わせることで、低頻度およびドメイン外の動詞に対して顕著な効果を示した。

ABSTRACT

Deep neural models achieve some of the best results for semantic role labeling. Inspired by instance-based learning that utilizes nearest neighbors to handle low-frequency context-specific training samples, we investigate the use of memory adaptation techniques in deep neural models. We propose a parameterized neighborhood memory adaptive (PNMA) method that uses a parameterized representation of the nearest neighbors of tokens in a memory of activations and makes predictions based on the most similar samples in the training data. We empirically show that PNMA consistently improves the SRL performance of the base model irrespective of types of word embeddings. Coupled with contextualized word embeddings derived from BERT, PNMA improves over existing models for both span and dependency semantic parsing datasets, especially on out-of-domain text, reaching F1 scores of 80.2, and 84.97 on CoNLL2005, and CoNLL2009 datasets, respectively.

研究の動機と目的

• 深層ニューラルネットワークの活性化から得られる最近傍情報を利用することで、意味的役割抽出（SRL）の性能を向上させること。
• SRLにおける低頻度動詞およびドメイン外一般化の課題に対処すること。
• ラベル付き近傍を必要とせず、ベースモデルの性能を向上させるメモリベースの適応手法を開発すること。
• 静的埋め込みと文脈依存埋め込み（例：BERT）を含むさまざまな単語埋め込みタイプにおいて、PNMAの有効性を示すこと。

提案手法

• 訓練データからのトークン表現をメモリに構築し、ユークリッド距離を用いて各トークンのK個の最近傍を保存する。
• 学習可能な重みを用いてK個の最近傍表現を結合することで、パラメータ化された近傍表現 $\mathbf{n}_{K}(w) \in \mathbb{R}^d$ を生成する。
• ベースモデルの単語および動詞埋め込みおよびLSTM層を固定し、近傍表現 $\mathbf{n}_{K}(w)$ を用いて分類層のみを微調整する。
• 近傍表現を用いて分類層を再訓練することで、ベースモデルの誤予測を是正できるようにする。
• スパン型および従属構造型SRLタスクの両方に対してPNMAを適用し、静的および文脈依存埋め込みを用いたモデルと統合する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの活性化から得られる最近傍情報は、ベースモデルを上回るSRL性能を向上させることができるか？
• RQ2 PNMAは低頻度動詞およびドメイン外の例に対して誤りを効果的に低減するか？
• RQ3 BERTのような文脈依存埋め込みと組み合わせた場合、PNMAの性能はどのようになるか？
• RQ4 ベースモデルとPNMAが予測を食い違うサンプルにおいて、PNMAは予測を改善できるか？
• RQ5 近傍サイズおよび表現品質がPNMAの性能に与える影響は何か？

主な発見

• PNMAは、CoNLL2005のドメイン外テストセットにおいて、80.2%というF1スコアを達成し、従来手法より2.0ポイントの向上を示した。
• CoNLL2009データセットでは、BERTを用いたPNMAがF1スコア84.97%を達成し、既存のモデルより5.0ポイントの向上を示した。
• PNMAは、すべての文法的役割においてベースモデルの性能を一貫して向上させ、特に低頻度動詞およびレアな文法構造に対して顕著な効果を示した。
• ベースモデルと予測が食い違うケースにおいて、PNMAはベースモデルよりも正しく予測する確率が高くなる。
• 誤差分析の結果、中程度の近傍サイズ（10〜40個）かつ低頻度動詞のサンプルでPNMAが最も効果的であることが判明したが、近傍に誤ったベースモデルの予測がある場合には性能を発揮できないことがわかった。