[論文レビュー] Segmental Recurrent Neural Networks

Lingpeng Kong, Chris Dyer+1 more|arXiv (Cornell University)|Nov 18, 2015

Natural Language Processing Techniques参考文献 17被引用数 68

ひとこと要約

本論文は、双方向RNNを用いて可変長の入力セグメントを符号化し、それらを半マルコフCRFを介してラベル適合性スコアと組み合わせることで、セグメンテーションとラベリングを同時に学習するSegmental Recurrent Neural Networks (SRNNs)を提案する。SRNNsは、手書き文字認識および中国語語彙分割/品詞タグ付けにおいて最先端の性能を達成し、CTCおよびBIOタグ付けベースラインを上回っている。これは、セグメント境界とラベル間の依存関係を明示的にモデル化しているためである。

ABSTRACT

We introduce segmental recurrent neural networks (SRNNs) which define, given an input sequence, a joint probability distribution over segmentations of the input and labelings of the segments. Representations of the input segments (i.e., contiguous subsequences of the input) are computed by encoding their constituent tokens using bidirectional recurrent neural nets, and these "segment embeddings" are used to define compatibility scores with output labels. These local compatibility scores are integrated using a global semi-Markov conditional random field. Both fully supervised training -- in which segment boundaries and labels are observed -- as well as partially supervised training -- in which segment boundaries are latent -- are straightforward. Experiments on handwriting recognition and joint Chinese word segmentation/POS tagging show that, compared to models that do not explicitly represent segments such as BIO tagging schemes and connectionist temporal classification (CTC), SRNNs obtain substantially higher accuracies.

研究の動機と目的

• CTCやBIOタグ付けのような従来のシーケンスモデリング手法に見られる限界、すなわちセグメント境界やラベル間の依存関係を明示的にモデル化しないことに対処すること。
• 音声、手書き文字、テキストなどの順序データに対して、セグメント境界とラベルを同時に予測するディープラーニングフレームワークの開発。
• マージナル尤度の目的関数を用いることで、セグメント境界が潜在的である場合の完全教師ありおよび部分教師ありの学習を可能にすること。
• セグメントレベルの表現と依存関係を明示的にモデル化することで、構造的出力予測を必要とするタスクの性能を向上させること。
• 学習されたセグメント埋め込みがラベリングの目的を超えて有用であるかを検討し、下流タスクに有益である可能性を示すこと。

提案手法

• SRNNsは、半マルコフ条件付き確率的場（CRF）を用いて、セグメンテーションとラベリングの同時確率分布を定義し、双方向RNNから得られるセグメント埋め込みを活用する。
• 各セグメントは、入力部分列を前向きおよび後向きのRNNが処理することで符号化され、両方向からの文脈を捉える。
• セグメント埋め込みは、フィードフォワードネットワークを用いた学習された適合性関数を通じて、ラベルおよび持続時間特徴と組み合わされる。
• ラベルの依存関係とセグメント長を効率的な動的計画法推論を可能にするために、チェーン構造のクライクポテンシャルが使用される。
• 学習には、既知のセグメント境界を伴う完全教師ありの目的関数、または境界が潜在的である部分教師ありの目的関数を用い、マージナル尤度が適用される。
• 最終的な予測は、セグメント境界とラベルの両方の上での同時最大化により得られ、境界の周辺化を近似する。

実験結果

リサーチクエスチョン

• RQ1 セグメント境界とセグメントレベルの表現を明示的にモデル化することで、CTCやBIOタグ付けと比較して、シーケンスラベリングタスクの性能が向上するか？
• RQ2 半マルコフCRF構造を用いてラベル間の依存関係を組み込むことで、手書き文字認識や中国語語彙分割のようなタスクの正確性が向上するか？
• RQ3 セグメント境界が学習時に観測されない部分教師あり設定において、SRNNsは効果的に機能するか？
• RQ4 双方向RNNを用いて学習されたセグメント埋め込みは、フレームレベルのラベリングと比較して、どのようにより良いラベル予測に寄与するか？
• RQ5 セグメンテーションが主なタスクの目的でない場合でも、明示的なセグメンテーション能力は有益であるか？

主な発見

• EMNISTデータセットにおいて、SRNNsはCTCベースラインと比較してF1スコアで2.1%の絶対的向上を達成し、手書き数字認識において顕著な高い精度を示した。
• SIGHAN 2005中国語語彙分割ベンチマークでは、SRNNsは4つのテストセットの平均F1スコア93.5%を達成し、CTCおよびBIOモデルを含む強力なベースラインを上回った。
• モデルは、繁体字（CU, AS）および簡体字（MSR, PKU）を含むさまざまな中国語テキストバージョンにおいても、90.6%から93.7%のF1スコアを示し、堅牢な性能を発揮した。
• SRNNsは、セグメンテーションと品詞タグ付けの両方で一貫した改善を示し、セグメント境界とラベルの共同モデリングの利点を裏付けた。
• 双方向RNNによるセグメント符号化により、より文脈に適した表現が得られ、ラベル適合性スコアの向上に寄与した。
• マージナル尤度学習を用いた潜在的セグメント境界の処理能力により、リソースが限られた環境や弱教師あり設定でも効果的な利用が可能になった。