[論文レビュー] Learning Online Alignments with Continuous Rewards Policy Gradient

Yuping Luo, Chung‐Cheng Chiu+2 more|arXiv (Cornell University)|Aug 3, 2016

Topic Modeling参考文献 17被引用数 10

ひとこと要約

本論文では、連続的報酬と方策勾配学習を用いたハードオンラインアライメントを備えたシーケンス・ツー・シーケンスモデルを提案し、入力シーケンスの全量を事前に要件としないリアルタイム音声認識を可能にする。確率的バイナリ意思決定を用いて出力発生をトリガーすることで、TIMITおよびWSJデータセットで優れた性能を達成し、オンライン音声翻訳システムの実現可能性を示している。

ABSTRACT

Sequence-to-sequence models with soft attention had significant success in machine translation, speech recognition, and question answering. Though capable and easy to use, they require that the entirety of the input sequence is available at the beginning of inference, an assumption that is not valid for instantaneous translation and speech recognition. To address this problem, we present a new method for solving sequence-to-sequence problems using hard online alignments instead of soft offline alignments. The online alignments model is able to start producing outputs without the need to first process the entire input sequence. A highly accurate online sequence-to-sequence model is useful because it can be used to build an accurate voice-based instantaneous translator. Our model uses hard binary stochastic decisions to select the timesteps at which outputs will be produced. The model is trained to produce these stochastic decisions using a standard policy gradient method. In our experiments, we show that this model achieves encouraging performance on TIMIT and Wall Street Journal (WSJ) speech recognition datasets.

研究の動機と目的

• 出力生成の前に全入力を必要とするシーケンス・ツー・シーケンスモデルの制限を是正すること。これは、音声ベースの翻訳などのリアルタイム応用を妨げる。
• 入力が到着する度に段階的に出力を生成できるように、オンライン推論を可能にする。全シーケンスを待つことなく出力を生成可能である。
• 教師あり学習と方策勾配最適化を組み合わせ、いつ出力トークンを発生させるかを確率的決定で学習する手法を開発する。
• 大規模な音声認識タスクにおいてこのアプローチの有効性を実証し、リアルタイムでエンド・ツー・エンドの音声翻訳システムの実現に道を開く。

提案手法

• 各時刻に確率的バイナリユニットを備えた再帰的ニューラルネットワークを用い、出力トークンを発生させるかどうかを決定する。
• 出力発生意思決定をベルヌーイ分布に従う確率的変数としてモデル化し、REINFORCE方策勾配推定器により微分可能にする。
• 出力シーケンスの対数尤度を最大化するように方策ネットワークを学習し、発生精度に基づく報酬を用いる。
• 以前の出力と意思決定のフィードバックをRNN隠れ状態に統合することで、系列依存性を維持し、モデルの一貫性を確保する。
• 学習の安定化と早期収束の防止のため、勾配クリッピングとエントロピー正則化を適用する。
• より大きなWSJデータセットの学習には、300ユニットのスタックドLSTMと非同期SGD（50レプリカ）を用いる。

実験結果

リサーチクエスチョン

• RQ1 全入力シーケンスを要件としないハードオンラインアライメントを備えたシーケンス・ツー・シーケンスモデルは、音声認識タスクで競争力のある性能を達成できるか？
• RQ2 確率的バイナリ意思決定を用いた方策勾配アプローチは、オンライン環境下で出力トークン発生タイミングを学習するのにどの程度有効か？
• RQ3 連続的報酬と方策勾配学習は、微分不能で確率的な意思決定フレームワークにおいて、安定的かつ正確な学習を可能にするか？
• RQ4 この手法は、より大規模で複雑な音声認識データセット（例：WSJ）にスケーリング可能であり、性能を維持できるか？
• RQ5 発生意思決定は入力音声のタイミングとどの程度相関しているか？また、モデルは新しい関連情報が到着したときにのみ出力を発生させることを学習しているか？

主な発見

• TIMITデータセットにおいて、オンライン推論を伴うリアルタイム音声認識の実現可能性を示す、期待に応える性能を達成した。
• より大きなWSJデータセットでは、相實に小型なアーキテクチャ（2層スタックドLSTM、1層あたり300ユニット）を用いても、妥当な正確性を達成した。これはスケーラビリティに大きな可能性を示している。
• モデルは新しい音声入力が到着した際に主に出力トークンを発生させることを学習しており、入力処理と出力生成の間で効果的なアライメントが実現していると考えられる。
• ソフト意思決定（発生確率）とハード意思決定（実際の発生）の両方の観点から、モデルは多くの場合、発話の終了直前まで最終出力を延期していた。これは、早期または誤った予測を避けるための戦略的配慮と推察される。
• 一部の例では、全発話が正しく変換された。特に、1つの単語の置換（AND → END）を除き、完全なトランスクリプトが正確に予測された。
• ドロップアウトは初期段階に適用すると学習が不安定になったため、後段階に延期された。これは、方策勾配学習における正則化タイミングの感受性を示している。