[論文レビュー] Online and Linear-Time Attention by Enforcing Monotonic Alignments

Colin Raffel, Minh-Thang Luong+3 more|arXiv (Cornell University)|Apr 3, 2017

Topic Modeling参考文献 29被引用数 197

ひとこと要約

論文は、逐次入力と出力を単調に対応させるモノトニックでハードアテンション機構を提案し、オンラインで線形時間のデコードを可能にする。期待値での訓練を行い、要約、翻訳、オンライン音声認識の分野で競争力のある結果を達成する。

ABSTRACT

Recurrent neural network models with an attention mechanism have proven to be extremely effective on a wide variety of sequence-to-sequence problems. However, the fact that soft attention mechanisms perform a pass over the entire input sequence when producing each element in the output sequence precludes their use in online settings and results in a quadratic time complexity. Based on the insight that the alignment between input and output sequence elements is monotonic in many problems of interest, we propose an end-to-end differentiable method for learning monotonic alignments which, at test time, enables computing attention online and in linear time. We validate our approach on sentence summarization, machine translation, and online speech recognition problems and achieve results competitive with existing sequence-to-sequence models.

研究の動機と目的

• 入力と出力の間を単調に整列させることでオンラインかつ線形時間のデコードを可能にするアテンション機構の動機づけと開発。
• テスト時にオンラインデコードを許可しつつ、単調アテンション過程の期待出力を最適化する微分可能な訓練手法を定式化。
• 本手法を文要約、機械翻訳、オンライン音声認識で評価し、性能と効率のトレードオフを検討。
• ソフトアテンションのベースラインや他のオンライン手法と比較し、デコード速度の向上と競争力のある精度を示す。

提案手法

• ソフトアテンションを確率過程の期待出力として再定式化し、左から右へメモリを走査して出力を発する時点で停止するハードなモノトニックアテンション過程を導入し、オンラインかつ線形時間のデコーディングを実現する。
• テスト時の非微分サンプリングにもかかわらず、メモリ位置上の再帰(alpha)を用いて期待コンテキストベクトルを計算することで微分可能な訓練手順を導出し、バックプロパゲーションを可能にする。
• エネルギー関数に学習済みオフセットrを含め、訓練を安定化させるために重み正規化を適用し、訓練時/推論時の整合性を促すためにsigmoidの前にガウスノイズを導入してp_{i,j}の離散性を促進する。
• オンラインデコード動作とモノトニックデコード方式の互換性を保つため、全メモリ位置での和を1に正規化する代替策を提供する。

実験結果

リサーチクエスチョン

• RQ1 一連のシーケンスタスクに対して、オンラインデコードを許しつつモノトニックでハードなアライメントをエンドツーエンドで学習できるか？
• RQ2 モノトニックアテンション機構を使用する訓練時の影響は何か、期待出力を用いた訓練はテスト時のハードデコードと性能の点でどう比較されるか？
• RQ3 strictly monotonic な領域を超えるタスク（局所的リオーダリングを伴う翻訳、文要約など）でも、線形時間のデコードを提供しつつ競争力の結果を得られるか？
• RQ4 エネルギー関数の変更や正則化戦略が、学習済みアライメントの安定性と離散性にどう影響するか？

主な発見

手法	TIMIT PER	WSJ WER	ROUGE R1	ROUGE R2	ROUGE R-L	ノート
Luo et al. (stacked LSTM)	21.5%	-	-	-	-	オンライン手法の参照
Jaitly et al. (end-to-end)	20.8%	-	-	-	-	オンライン手法の参照
Luo et al. (grid LSTM)	20.5%	-	-	-	-	オンライン手法の参照
Hard Monotonic Attention (ours)	20.4%	-	-	-	-	オンラインデコード法
Soft Monotonic Attention (ours, offline)	-	-	-	-	-	オフラインベースライン
Graves et al. (CTC)	-	19.6%	-	-	-	ベースラインCTCモデル
WSJ CTC (ours)	-	33.4%	-	-	-	CTCベースライン
Luo et al. (lookahead, CTC)	-	27.0%	-	-	-	オンライン法の比較
Hard Monotonic Attention (ours)	-	17.4%	-	-	-	WSJオンラインデコード結果
Soft Monotonic Attention (ours)	-	16.5%	-	-	-	WSJオンラインデコード結果
Softmax Attention (ours)	-	-	-	-	-	標準ソフトマックスアテンションを用いたオフラインベースライン
Sentence Summarization (Gigaword)	-	-	ROUGE-1=37.14	ROUGE-2=18.00	ROUGE-L=34.87	モノトニック vs ベースライン on ROUGE
Soft Monotonic (ours)	-	-	ROUGE-1=38.03	ROUGE-2=18.57	ROUGE-L=35.70	ハードモノトニックより一部指標で高い
Softmax Attention (ours)	-	-	-	-	-	ベースラインアテンション

• ハードモノトニックアテンションは左から右へメモリを処理し、出力を発する時点で停止することでオンラインかつ線形時間のデコードを実現し、複雑さをO(max(T,U))に削減する。
• モノトニックアテンションの期待値を用いた訓練は、テスト時にオンラインデコードを可能にしつつソフトアテンションと競合する性能を提供する。
• TIMITで、ハードモノトニックアテンションは20.4%の電話誤り率を出す（CTCは19.6%、オフラインソフトモノトニックは20.1%）。ソフトモノトニックは20.1%でやや上回る。
• WSJ音声認識で、ハードモノトニックは17.4%のWER（ソフトモノトニックは16.5%、オフラインのソフトマックスは16.0%）。
• Gigawordの文要約では、ハードモノトニックはROUGE-F1スコアR1=37.14、R2=18.00、R-L=34.87。競争力はあるが強力なベースラインにはわずかに及ばない；ソフトモノトニックはこれらの指標でやや劣る。
• English→Vietnamese翻訳では、オンラインデコード付きのモノトニックアテンションは困惑度とBLEUでソフトマックスベースラインと競合しており、厳密なモノトニック領域を超えた適用性を示す。