[論文レビュー] Sequence Modeling via Segmentations

Chong Wang, Yining Wang+4 more|arXiv (Cornell University)|Feb 24, 2017

Natural Language Processing Techniques参考文献 25被引用数 24

ひとこと要約

本稿では、正確な動的計画法を用いて分割を周辺化することで、セグメント確率の積としてシーケンスをモデル化する確率的シーケンスモデリングフレームワークを提案する。この手法、SWAN（Sleep-Wake Networks）は、TIMIT発音子認識で最先端の性能（18.1% PER）を達成し、文字レベルの音声認識でも競争力のある文字誤り率（30.5%）を示すとともに、言語学的に意味のあるセグメントを発見する。

ABSTRACT

Segmental structure is a common pattern in many types of sequences such as phrases in human languages. In this paper, we present a probabilistic model for sequences via their segmentations. The probability of a segmented sequence is calculated as the product of the probabilities of all its segments, where each segment is modeled using existing tools such as recurrent neural networks. Since the segmentation of a sequence is usually unknown in advance, we sum over all valid segmentations to obtain the final probability for the sequence. An efficient dynamic programming algorithm is developed for forward and backward computations without resorting to any approximation. We demonstrate our approach on text segmentation and speech recognition tasks. In addition to quantitative results, we also show that our approach can discover meaningful segments in their respective application contexts.

研究の動機と目的

• 言語におけるフレーズや音声における音韻的単位などの固有のセグメント構造を活用してシーケンスをモデル化すること。
• 近似を伴わずにすべての有効な分割を合計する、正確な推論手法をシーケンスモデリングに開発すること。
• 意味的で文脈に適したセグメントを学習することで、音声認識およびテキストセグメンテーションのシーケンスモデリング性能を向上させること。
• セグメント境界を尊重する微分可能損失関数を用いたエンドツーエンド学習を可能にすること。
• 音声を越えて、機械翻訳やゲノム分野を含む、シーケンスモデリングにおけるセグメント構造の有用性を検討すること。

提案手法

• シーケンスの確率を、すべての有効な分割の確率の和としてモデル化し、各分割の確率は個々のセグメント確率の積として表す。
• 各セグメントを、直前のセグメントと入力コンテキストに条件付けられた再帰的ニューラルネットワーク（例：LSTM、GRU）でモデル化する。
• 正確な前方および後方計算のための動的計画法アルゴリズムを用い、周辺化において近似を回避する。
• シーケンス対シーケンスのタスクにおいて、モノトニックアライメント仮定を導入し、入力要素がセグメントまたは空セグメントを出力可能とする。
• この手法を「スリープ・ウェイク・ネットワークス」（SWAN）と命名し、「スリープ」は空セグメントの出力、「ウェイク」は非空セグメントの出力に対応する。
• 推論のためにビームサーチによるデコード戦略を適用し、有望なセグメンテーションの効率的生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 シーケンス内のセグメント構造を明示的にモデル化することで、シーケンスモデリング性能の向上が図れるか？
• RQ2 指数的多数の分割に対して近似を伴わず、正確な動的計画法で周辺確率を計算できるか？
• RQ3 意味のあるセグメントを学習することで、音声認識およびテキストセグメンテーションタスクの性能が向上するか？
• RQ4 このモデルは、シーケンス対シーケンスおよび非シーケンス対シーケンスの両設定に一般化可能か？
• RQ5 標準的なシーケンスモデルと比較して、モデルが言語学的に意味のあるセグメントを発見する能力はどのように異なるか？

主な発見

• SWANはTIMITコアテストセットで18.1%の発音子誤り率（PER）を達成し、BiLSTM-5L-250H（18.4%）やAttention RNN（17.6%）といった先行モデルを上回る性能を示した。
• 文字レベルの音声認識では、SWANが30.5%の文字誤り率（CER）を達成し、CTCベースライン（31.8%）を上回った。
• モデルは、一般的な音韻的パターンや語の類似単位といった言語学的に意味のあるセグメントを発見しており、TIMITデータセットからの定性的な例で示された。
• 文字レベルタスクにおける平均セグメント長は約1.5であり、これはより長いセグメントが音声のばらつきを低減するのに寄与していることを示唆している。
• 空白文字は頻繁に直前の文字とグループ化され、あるいは独立したセグメントとして扱われるため、これは空白文字がコンテンツを有さない単位ではなく、セグメント境界として機能していることを示している。
• モデルの性能は、シーケンス長（L）が大きくなるにつれて向上しており、広範なセグメンテーション探索が最適化に寄与することが示唆された。