[論文レビュー] Sequence Transduction with Recurrent Neural Networks

Alex Graves|arXiv (Cornell University)|Nov 14, 2012

Natural Language Processing Techniques参考文献 20被引用数 1,292

ひとこと要約

本稿では、入力-出力および出力-出力の依存関係を統合的にモデル化する2つの再帰的ニューラルネットワーク（RNN）に基づく、エンド・ツー・エンドで微分可能なシーケンス変換モデルを提案する。このRNNトランスダーサーは、事前定義されたアライメントを必要とせず、外部言語モデルを用いずに音声認識タスクで最先端の性能（1.0ビット/音素のlog-loss、23.2%の誤差率）を達成する。

ABSTRACT

Many machine learning tasks can be expressed as the transformation---or \emph{transduction}---of input sequences into output sequences: speech recognition, machine translation, protein secondary structure prediction and text-to-speech to name but a few. One of the key challenges in sequence transduction is learning to represent both the input and output sequences in a way that is invariant to sequential distortions such as shrinking, stretching and translating. Recurrent neural networks (RNNs) are a powerful sequence learning architecture that has proven capable of learning such representations. However RNNs traditionally require a pre-defined alignment between the input and output sequences to perform transduction. This is a severe limitation since \emph{finding} the alignment is the most difficult aspect of many sequence transduction problems. Indeed, even determining the length of the output sequence is often challenging. This paper introduces an end-to-end, probabilistic sequence transduction system, based entirely on RNNs, that is in principle able to transform any input sequence into any finite, discrete output sequence. Experimental results for phoneme recognition are provided on the TIMIT speech corpus.

研究の動機と目的

• シーケンス変換タスクにおいて、RNNが入力シーケンスと出力シーケンスの間の事前定義されたアライメントを必要としているという制限を克服すること。
• アライメントや出力長の事前知識が不要な、微分可能でエンド・ツー・エンドのシステムを構築すること。
• 入力シーケンスの表現と自己回帰的出力モデリングを統合することで、順序的歪みに対する耐性を向上させること。
• 音声認識や機械翻訳などのタスクにおいて、音声的および言語的情報を統合して学習可能にする。
• スケーラブルで微分可能なフレームワークを提供し、音声認識を越えて一般化可能なシーケンス・ツー・シーケンス学習を実現すること。

提案手法

• 入力シーケンスを処理するコンテキストネットワークと、以前に生成された出力を処理する予測ネットワークを用いたシーケンス変換システムを定義する。
• 微分可能なスコア関数を用いて、すべての可能なアライメントと出力シーケンスの結合確率分布を構築する。
• 「出力なし」を表すためのヌル記号（φ）を含む拡張された出力空間を導入し、柔軟なアライメントモデリングを可能にする。
• 勾配降下法を用い、時間に沿った誤差逆伝播（backpropagation through time）により、ターゲットシーケンスの負の対数尤度を最適化する。
• 入力および出力シーケンスの両方に勾配が流れる微分可能なアライメント機構を導入し、エンド・ツー・エンドの学習を可能にする。
• 生のスペクトログラムを直接入力として用い、エンド・ツー・エンドの音声認識を実現する。入力特徴量から文字シーケンスへ直接マッピングする。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンド・ツー・エンドのRNNベースのモデルは、入力と出力の間の事前定義されたアライメントがなくても、シーケンスを変換できるか？
• RQ2 入力と出力の依存関係を統合的にモデリングするアプローチは、CTCのような手法と比較して、シーケンス変換性能をどの程度向上できるか？
• RQ3 モデルは音声的および言語的情報をどの程度統合し、順序的歪みに対して耐性を高められるか？
• RQ4 音声認識を越えて、テキスト・トゥ・スピーチや機械翻訳のような可変長出力タスクに一般化できるか？
• RQ5 モデルの出力は入力および以前の出力に対してどの程度感度を示すか？また、学習された依存関係を可視化できるか？

主な発見

• RNNトランスダーサーは、TIMITの音声認識タスクで1.0ビット/音素のlog-lossと23.2%のテスト誤差率を達成し、CTC（1.3ビット、25.5%）および単独の予測ネットワーク（4.0ビット、72.9%）を上回る性能を示した。
• モデルはスペクトログラムと出力音素の間で時間的アライメントを学習しており、アテンションヒートマップにおける「時間の歪み（time warping）」として可視化された。
• 予測ネットワーク単体では性能が著しく低く（誤差率72.9%）、コンテキストネットワークとの統合的モデリングが性能向上に不可欠であることが示された。
• 感度解析により、モデルは入力および出力シーケンスの両方における長距離依存関係に敏感であることが判明。特に、双方向コンテキストネットワークでは入力への感度が広がっていた。
• 出力ラティスにおける短い垂直セグメントを通じて共通の部分列パターン（例：'TH'、'HER'）が捉えられており、効果的なシーケンスモデリングを示している。
• トランスダーサーにより、中間の発音表現を経由せずに、生のスペクトログラムから直接文字シーケンスへのエンド・ツー・エンドの音声認識が可能になった。