[論文レビュー] Improving Recurrent Neural Networks For Sequence Labelling

Marco Dinarelli, Isabelle Tellier|arXiv (Cornell University)|Jun 8, 2016

Natural Language Processing Techniques参考文献 30被引用数 12

ひとこと要約

本論文は、予測ラベルを入力埋め込みとして組み込むことで、ラベル依存性のモデリングを向上させる2つの新しいRNN変種—ラベル埋め込みI-RNNおよびハイブリッドI+E-RNN—を提案する。ATIS、MEDIA、FTB、PTBにおける実験では、両方の変種がすべてのタスクで伝統的なElmanおよびJordan RNNよりも一貫して優れた性能を示し、I-RNNはFTBで最大96.90%の正確度、MEDIAで86.71%のF1スコアを達成した。

ABSTRACT

In this paper we study different types of Recurrent Neural Networks (RNN) for sequence labeling tasks. We propose two new variants of RNNs integrating improvements for sequence labeling, and we compare them to the more traditional Elman and Jordan RNNs. We compare all models, either traditional or new, on four distinct tasks of sequence labeling: two on Spoken Language Understanding (ATIS and MEDIA); and two of POS tagging for the French Treebank (FTB) and the Penn Treebank (PTB) corpora. The results show that our new variants of RNNs are always more effective than the others.

研究の動機と目的

• 従来のRNNではシーケンスラベリングタスクにおいてラベル依存性のモデリングが限定的であるという問題に対処すること。
• 語彙埋め込みと同様の分布的表現空間におけるラベルを扱うことで、予測ラベルを入力埋め込みとして統合し、文脈表現を向上させること。
• ラベル埋め込みがRNNベースのシーケンスラベリングにおけるロバストネスと性能を向上させるかどうかを評価すること。
• 多様なNLPタスクにわたる標準的なElmanおよびJordan RNNと比較して、提案された変種の性能を評価すること。
• ラベル表現における確率分布よりも、ラベル埋め込みがより効果的な信号伝達を提供することを示すこと。

提案手法

• 出力層から入力層への再帰的接続を持つ新しいRNN変種（I-RNN）を提案し、予測ラベルを埋め込みとしてフィードバックすることで、ラベル依存性を強化する。
• 学習可能なルックアップテーブルを用いてラベル埋め込みを導入し、ラベルを語彙の分布的表現空間における単語と同様に扱う。
• 隠れ層の計算を変更し、前回時刻の語彙埋め込みとラベル埋め込みを同時に処理するようにする。
• I-RNNのラベルフィードバックとElman RNNの隠れ状態再帰を組み合わせたハイブリッドモデル（I+E-RNN）を提案する。
• 前向き、後向き、および双方向RNN構成を用いて、異なるシーケンス方向におけるロバストネスと性能を評価する。
• 標準的な学習と推論を採用し、ソフトマックス出力と交差エントロピー損失を用いることで、ベースラインRNNと公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 予測ラベルを埋め込みとして組み込むことで、標準的なRNNと比較してシーケンスラベリングの性能が向上するか？
• RQ2 one-hotまたは確率ベクトルではなく、分布的ラベル表現を用いることで、モデルの学習とロバストネスが向上するか？
• RQ3 提案されたI-RNNおよびI+E-RNN変種は、多様なシーケンスラベリングタスクにおいてElmanおよびJordan RNNと比較してどのように異なるか？
• RQ4 ラベル埋め込みは、確率ベースのラベル表現で見られる信号劣化をどの程度軽減できるか？
• RQ5 提案されたアーキテクチャは、SLUやPOSタギングを含むさまざまなNLPタスクで優れた性能を維持できるか？

主な発見

• I-RNNはフランス語コーパス（FTB）で96.90%の正確度を達成し、次に優れたモデル（96.77%）を0.13ポイント上回った。
• MEDIAコーパスでは、双方向設定でI-RNNが86.71%のF1スコアを記録し、最良のベースライン（86.00%）を0.71ポイント上回った。
• I+E-RNNはPTBで96.93%の正確度を達成し、双方向設定で最良のベースライン（97.24%）を0.29ポイント上回った。
• I-RNNはATIS、MEDIA、FTB、PTBの4つのタスクすべてで、ElmanおよびJordan RNNを一貫して上回った。
• 分析の結果、Jordan RNNでは90%以上の時間、上位3つのラベルの合計確率が0.9を超えることが判明し、信号の多様性が限定的であることが示された。
• 本研究では、ラベル埋め込みがone-hotや確率ベースのラベル入力よりも豊富で分散された表現を提供することが確認され、勾配の流れと学習の質が向上した。