[論文レビュー] Structured Training for Neural Network Transition-Based Parsing

David J. Weiss, Chris Alberti+2 more|arXiv (Cornell University)|Jun 19, 2015

Natural Language Processing Techniques参考文献 31被引用数 40

ひとこと要約

この論文では、深層ニューラルネットワーク表現とビームサーチデコード、構造的学習を組み合わせた構造的パーセプトロン学習アプローチを提示している。三重学習（tri-training）を用いて無ラベルデータを活用し、すべてのネットワーク層の活性化を構造的パーセプトロンでの特徴として使用することで、Penn Treebank において94.26%の無ラベル付属精度（UAS）と92.41%のラベル付き付属精度（LAS）を達成し、Stanford Dependencies における新たなSOTAを樹立した。

ABSTRACT

We present structured perceptron training for neural network transition-based dependency parsing. We learn the neural network representation using a gold corpus augmented by a large number of automatically parsed sentences. Given this fixed network representation, we learn a final layer using the structured perceptron with beam-search decoding. On the Penn Treebank, our parser reaches 94.26% unlabeled and 92.41% labeled attachment accuracy, which to our knowledge is the best accuracy on Stanford Dependencies to date. We also provide in-depth ablative analysis to determine which aspects of our model provide the largest gains in accuracy.

研究の動機と目的

• ニューラルネットワーク表現と構造的学習、ビームサーチを組み合わせることで、依存構文解析の精度を向上させること。
• 構造的パーセプトロン学習により、グリーディな遷移ベース解析における探索バイアスを低減すること。
• 三重学習を用いて大規模な無ラベルデータを活用することで、モデルの一般化性能を向上させること。
• アブレーションスタディを通じて、アーキテクチャ的および学習上の選択肢に関する実証的指針を提供すること。
• Stanford Dependencies の Penn Treebank において、新たなSOTA性能を確立すること。

提案手法

• ローカルな解析構成を処理するための深層フィードフォワードニューラルネットワーク（隠れ層を1つ持つ）が、語、品詞タグ、アーキュレートラベルの分散表現を学習する。
• デコードに直接ソフトマックス確率を使うのではなく、すべてのネットワーク層の活性化を構造的パーセプトロンモデルの特徴として使用する。
• 非同期的確率的勾配降下法（ASGD）を用い、ラベルバイアスを是正するための早期更新を実施して構造的パーセプトロンを学習する。
• 推論段階ではビームサーチデコードを用い、複数の解析経路を探索することで精度を向上させる。
• 無ラベルデータは三重学習により拡張される：2つの解析器（BerkeleyParser と他のもの）が同一に解析した文を高信頼度の訓練例として使用する。
• 最終的なモデルは、ニューラルネットワークの表現力と構造的学習を組み合わせ、グリーディモデルのバイアスを是正する。

実験結果

リサーチクエスチョン

• RQ1 グリーディデコードと比較して、構造的パーセプトロン学習がニューラルネットワークベースの遷移構文解析の精度を顕著に向上させられるか？
• RQ2 構造的パーセプトロンにすべての隠れ層からの活性化を使用する方が、最終層のみまたはソフトマックス確率を使用する場合よりも優れているか？
• RQ3 特にニューラルネットワークモデルと組み合わせた場合、無ラベルデータを用いた三重学習が解析性能をどの程度向上させるか？
• RQ4 ネットワークの深さや最適化手順といったアーキテクチャ的選択が、解析精度にどのように影響するか？
• RQ5 構造的パーセプトロンは、グリーディモデルで一般的に誤分類されるパターン（例：'RIGHT(ccomp)' を 'RIGHT(conj)' と誤分類する）を是正するためのソフトマックス確率の再重み付けを効果的に実行できるか？

主な発見

• 構造的パーセプトロンアプローチにより、ベースラインのグリーディモデルと比較して0.8%の精度向上が達成され、Penn Treebank で94.26%のUASと92.41%のLASを記録した。
• すべての隠れ層からの活性化を構造的パーセプトロンに使用した場合が最良の性能を示し、中間表現が集約的に識別的情報を含んでいることを示した。
• 1000万トークンの追加無ラベルデータを用いた三重学習により、精度が約1.0%向上し、BerkeleyParser単独での通常のアップトレーニングを著しく上回った。
• 構造的パーセプトロンは、よく見られる誤分類パターン（例：'RIGHT(ccomp)' を 'RIGHT(conj)' と誤分類する）を是正するため、ソフトマックス確率を再重み付けする効果的手段であった。
• アブレーションスタディの結果、バックプロパゲーション中に両方の隠れ層をソフトマックス層に接続しても、グリーディモデルの性能は向上せず、その利点はアーキテクチャの変更ではなく構造的学習に起因していることが示された。
• グリーディなニューラルネットワークモデルですら、三重学習を経ることでBerkeleyParserを上回り、低リソース環境下でも本手法の有効性が示された。