[論文レビュー] Word Sense Disambiguation using a Bidirectional LSTM

Mikael Kågebäck, Hans Salomonsson|arXiv (Cornell University)|Jun 11, 2016

Natural Language Processing Techniques被引用数 41

ひとこと要約

この論文では、外部リソース、手作業で作成した特徴量、品詞タグの使用に依存せずに、語の意味の解釈を高精度に行うために、双方向LSTMベースのモデルを提案する。共有パラメータと事前学習済みGloVe埋め込みを活用することで、文脈的な語の順序を効果的に捉え、語彙全体に一般化できる。Senseval-2ではF1スコア66.9、Senseval-3では73.4を達成し、豊富な言語学的特徴量を用いたトップシステムと同等の性能を発揮する。

ABSTRACT

In this paper we present a clean, yet effective, model for word sense disambiguation. Our approach leverage a bidirectional long short-term memory network which is shared between all words. This enables the model to share statistical strength and to scale well with vocabulary size. The model is trained end-to-end, directly from the raw text to sense labels, and makes effective use of word order. We evaluate our approach on two standard datasets, using identical hyperparameter settings, which are in turn tuned on a third set of held out data. We employ no external resources (e.g. knowledge graphs, part-of-speech tagging, etc), language specific features, or hand crafted rules, but still achieve statistically equivalent results to the best state-of-the-art systems, that employ no such limitations.

研究の動機と目的

• 外部知識ベースや品詞タグ、手作業で作成した特徴量に依存せずに、最先端のシステムと同等の性能を発揮するWSDモデルの開発。
• 系列モデルを用いて語の順序をモデル化することで、bag-of-wordsアプローチに比べてWSD性能が向上するかの調査。
• 語ごとに共有されるモデルパラメータにより、語彙全体をカバーするWSDを実現し、データ効率とスケーラビリティを向上。
• 純粋なエンドツーエンド学習フレームワークにおいて、事前学習済み語の埋め込みと正則化手法（例：dropword）の有効性の評価。

提案手法

• モデルは、ターゲット語の周囲の文脈を符号化するために、共有された双方向LSTM（BLSTM）を用いる。これにより、左および右の文脈からの依存関係を捉える。
• 語の表現は、事前学習済みGloVe埋め込みで初期化され、訓練中に微調整され、意味の区別を向上させる。
• 左および右のBLSTMユニットの出力を連結し、その出力を共有された隠れ層が処理した後、語固有のソフトマックス層を用いて意味分類を行う。
• ラベル付き意味例に対して交差エントロピー損失を用いてエンドツーエンドで訓練する。明示的な文脈ウィンドウは使用せず、局所的およびグローバルな文脈統合を可能にする。
• ドロップワード正則化では、訓練中に文脈内のランダムな語を<dropped>トークンに置き換えることで、特定の語に過剰に依存するのを防ぐ。
• 入力埋め込みにガウスノイズを追加することで、モデルの正則化をさらに強化し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 豊富な言語学的特徴量と外部リソースを用いる最先端システムと同等の性能を達成できる、完全にニューラル的かつエンドツーエンドのWSDモデルは可能か？
• RQ2 語の順序はWSDにおいてどれほど重要であり、BLSTMのような系列モデルアプローチはbag-of-words手法を上回るか？
• RQ3 語ごとにパラメータを共有することで、語彙全体をカバーするWSDにおけるデータ効率とスケーラビリティはどの程度向上するか？
• RQ4 低リソースかつ特徴なしの環境下で、事前学習済み語の埋め込みがWSD性能に顕著に寄与するか？
• RQ5 ドロップワードや入力ノイズといった正則化手法は、外部教師なし環境下で一般化性能を向上させるのにどの程度効果的か？

主な発見

• 提案されたBLSTMモデルは、Senseval-2の語彙的サンプルタスクでF1スコア66.9を達成し、豊富な言語学的特徴量を用いる最良のシステム（100JHU(R)）と同等の性能を示した。
• Senseval-3タスクではF1スコア73.4を達成し、事前学習済み埋め込みを用いるが追加特徴量に依存するトップシステム（IMS+adapted CW）と同等の性能を示した。
• ドロップワード正則化は、両データセットで一貫して性能向上をもたらし、文脈内の特定の語に過剰に依存するのを防ぐ有効性を示した。
• 入力文脈の語の順序をランダム化すると、Senseval-2でのF1スコアは58.8に低下し、語の順序が正確な意味の解釈に不可欠であるという強い実証的証拠が得られた。
• GloVe埋め込みを削除すると、Senseval-2での性能は著しく低下し、F1スコアは54.6に低下した。これは、事前学習済み埋め込みがモデル成功の根幹をなしていることを示している。
• 語ごとのパラメータ共有のおかげで、語彙全体をカバーするWSDにおいて、パラメータ数の爆発的増加を防ぎつつ、良好な一般化性能を発揮した。