[論文レビュー] Monotonic Chunkwise Attention

Chung‐Cheng Chiu, Colin Raffel|arXiv (Cornell University)|Dec 14, 2017

Speech Recognition and Synthesis参考文献 22被引用数 33

ひとこと要約

本稿では、入力系列を適応的で重複のないチャンクに分割し、ハードな単調的アテンションとソフトアテンションを組み合わせることで、オンラインで線形時間のデコードを可能にする、新しいアテンション機構であるMonotonic Chunkwise Attention（MoChA）を提案する。MoChAは、オンライン音声認識で最先端の性能を達成し、文書要約においても単調的アテンションより20%相対的に向上した。また、標準的なバックプロパゲーションと互換性を保ちつつ、計算コストのわずかな増加で実現している。

ABSTRACT

Sequence-to-sequence models with soft attention have been successfully applied to a wide variety of problems, but their decoding process incurs a quadratic time and space cost and is inapplicable to real-time sequence transduction. To address these issues, we propose Monotonic Chunkwise Attention (MoChA), which adaptively splits the input sequence into small chunks over which soft attention is computed. We show that models utilizing MoChA can be trained efficiently with standard backpropagation while allowing online and linear-time decoding at test time. When applied to online speech recognition, we obtain state-of-the-art results and match the performance of a model using an offline soft attention mechanism. In document summarization experiments where we do not expect monotonic alignments, we show significantly improved performance compared to a baseline monotonic attention-based model.

研究の動機と目的

• 標準的なソフトアテンションがシーケンストゥシーケンスモデルにおいて二次時間・空間計算量を要するため、リアルタイム推論が不可能であるという問題に取り組む。
• ハードな単調的アテンションの限界を克服する。これはモデルの表現力に制限を加え、非単調なアライメントタスクではソフトアテンションに劣る。
• 入力系列の適応的チャンク分割を通じて、効率的でオンラインのデコードを実現しながら、ソフトアテンションの柔軟性を維持する。
• MoChAが既存のシーケンストゥシーケンスアーキテクチャに容易に統合できるよう、標準的なバックプロパゲーションと互換性のある学習手順を開発する。

提案手法

• MoChAは、エンコーダーメモリ内のチャンクの終端を決定するためにハードな単調的アテンション機構を用い、左から右への非再配置アライメントを保証する。
• 各チャンク内では、固定ウィンドウサイズ w に対してソフトアテンションを適用し、メモリ状態の重み付き平均をコンテキストベクトルとして計算する。
• チャンク境界はテスト時に動的に決定され、入力構造に基づいた適応的セグメンテーションを可能にする。
• 各チャンクのアテンション重みは、標準的なソフトアテンション機構を用いて計算され、クエリはデコーダーの隠れ状態、キーはメモリチャンクから得られる。
• モデルは標準的なバックプロパゲーションを用いてエンドツーエンドで学習され、学習中にハードな単調的機構の期待出力を近似することで勾配の流れを可能にする。
• チャンクサイズ w は、計算効率とモデリングの柔軟性のトレードオフを制御するハイパーパrameterである。

実験結果

リサーチクエスチョン

• RQ1 単調的チャンク分割とソフトアテンションを組み合わせたハイブリッドアテンション機構は、高い性能を維持しながら線形時間のデコードを達成できるか？
• RQ2 MoChAは、オンラインシーケンストランスダクションタスクにおいて、ソフトアテンションとハードな単調的アテンションの性能格差を埋めるか？
• RQ3 文書要約のようなタスクにおいて、入力出力アライメントが厳密に単調でない場合でも、MoChAは局所的な再配置を効果的にモデル化できるか？
• RQ4 MoChAは、特別な最適化や強化学習を必要とせず、標準的なバックプロパゲーションで学習可能か？

主な発見

• Wall Street Journalのオンライン音声認識ベンチマークでは、MoChAは語誤り率（WER）13.9%を達成し、ソフトアテンションモデル（14.2%）と同等の性能を示し、以前の最先端の単調的アテンションモデル（17.4%）を上回った。
• CNN/Daily Mailデータセットにおける文書要約では、w=8のMoChAがROUGE-F1スコア35.46を達成し、ハードな単調的アテンション（31.14）に対して20%相対的に向上し、ソフトアテンション（39.11）の性能に近づいた。
• MoChAは、推論におけるO(TU)の複雑さをO(T)に低減させることで、オンラインで線形時間のデコードを実現し、リアルタイムアプリケーションに適している。
• この手法は標準的なバックプロパゲーションと互換性を保ち、アーキテクチャの大幅な見直しを伴わずに、既存のシーケンストゥシーケンスモデルに容易に統合可能である。
• 要約タスクにおける性能向上は、MoChAが、入力出力アライメントが厳密に単調でない場合でも、局所的な再配置を効果的にモデル化できることを示している。