[論文レビュー] Sequence Prediction with Neural Segmental Models

Hao Tang|arXiv (Cornell University)|Sep 5, 2017

Natural Language Processing Techniques参考文献 108被引用数 4

ひとこと要約

本稿では、より高次の特徴量およびニューラル特徴量を統合しながらも効率的なデコードを維持する、逐次予測の精度を向上させるための判別的セグメンタルカスケードという、複数回の推論を実行するフレームワークを提案する。また、マージナル対数損失を用いたエンドツーエンド学習を提案し、高価な手動アライメントの必要性を排除するとともに、セグメンタルモデルをコネクショニスティック時系列分類（CTC）およびHMMと統一する。

ABSTRACT

Segments that span contiguous parts of inputs, such as phonemes in speech, named entities in sentences, actions in videos, occur frequently in sequence prediction problems. Segmental models, a class of models that explicitly hypothesizes segments, have allowed the exploration of rich segment features for sequence prediction. However, segmental models suffer from slow decoding, hampering the use of computationally expensive features. In this thesis, we introduce discriminative segmental cascades, a multi-pass inference framework that allows us to improve accuracy by adding higher-order features and neural segmental features while maintaining efficiency. We also show that instead of including more features to obtain better accuracy, segmental cascades can be used to speed up training and decoding. Segmental models, similarly to conventional speech recognizers, are typically trained in multiple stages. In the first stage, a frame classifier is trained with manual alignments, and then in the second stage, segmental models are trained with manual alignments and the out- puts of the frame classifier. However, obtaining manual alignments are time-consuming and expensive. We explore end-to-end training for segmental models with various loss functions, and show how end-to-end training with marginal log loss can eliminate the need for detailed manual alignments. We draw the connections between the marginal log loss and a popular end-to-end training approach called connectionist temporal classification. We present a unifying framework for various end-to-end graph search-based models, such as hidden Markov models, connectionist temporal classification, and segmental models. Finally, we discuss possible extensions of segmental models to large-vocabulary sequence prediction tasks.

研究の動機と目的

• 計算コストの高い特徴量を用いることでセグメンタルモデルのデコード効率が低下する問題を解決すること。
• セグメンタルモデルの学習における時間のかかる手動アライメントへの依存を低減すること。
• 速度を犠牲にせずに、より高次の特徴量およびニューラル特徴量を統合することで、逐次予測の精度を向上させること。
• HMM、CTC、セグメンタルモデルを含む、さまざまなエンドツーエンド逐次モデリング手法を、共通のフレームワークで統一すること。
• セグメンタルモデルを大規模語彙の逐次予測タスクに拡張すること。

提案手法

• より高次の特徴量およびニューラル特徴量を繰り返し用いて予測を段階的に改善する、複数回の推論を実行する判別的セグメンタルカスケードの提案。
• 詳細な手動アライメントを必要としないマージナル対数損失を用いたエンドツーエンド学習の導入。
• マージナル対数損失とコネクショニスティック時系列分類（CTC）との理論的関係を確立し、特定の条件下でCTCが提案フレームワークの特殊ケースであることを示す。
• HMM、CTC、セグメンタルモデルを特別なケースとして含む、グラフ探索に基づく統一的フレームワークの設計。
• 2段階の学習プロセスにおいて、フレーム分類器の出力を初期仮説として用い、後にエンドツーエンド学習に置き換える。
• ニューラルネットワークを用いてセグメントレベルの表現をモデル化し、セグメンタルフレームワーク内でのより豊かな特徴学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複雑な特徴量を用いる場合でも、効率的なデコードを維持しつつ、セグメンタルモデルの精度を向上させることは可能か？
• RQ2 マージナル対数損失を用いたエンドツーエンド学習により、セグメンタルモデルにおける手動アライメントの必要性を排除できるか？
• RQ3 マージナル対数損失は、CTCなどの既存のエンドツーエンド手法とどのように関係しているか？
• RQ4 HMM、CTC、セグメンタルモデルを、共通の推論および学習パラダイムの下に統合する統一フレームワークを構築できるか？
• RQ5 セグメンタルモデルは、大規模語彙の逐次予測タスクに効果的にスケーリングできるか？

主な発見

• 判別的セグメンタルカスケードは、より高次の特徴量およびニューラル特徴量を統合することで、標準的なセグメンタルモデルよりも高い精度を達成し、デコード効率を維持している。
• マージナル対数損失を用いたエンドツーエンド学習により、手動アライメントの必要性が排除され、アノテーションコストが顕著に削減された。
• マージナル対数損失は理論的にCTCと関連しており、CTCが提案フレームワークの特殊ケースとして見なせることを示している。
• 統一フレームワークは、HMM、CTC、セグメンタルモデルを、同一のグラフ探索に基づく学習およびデコードメカニズムで効果的に統合した。
• 提案手法により、従来、複雑さのため困難であった大規模語彙の逐次予測タスクへのセグメンタルモデルの有効な適用が可能になった。
• 性能向上を実現しながらも、競争的な推論速度を維持しており、実世界の応用における実用的妥当性を示している。