[論文レビュー] Online Segment to Segment Neural Transduction

Lei Yu, Jan Buys+1 more|arXiv (Cornell University)|Sep 26, 2016

Topic Modeling参考文献 20被引用数 9

ひとこと要約

この論文は、注意重みを潜在的逐次変数として扱うことで、リアルタイムに入力シーケンスと出力シーケンスの符号化、復号化、アラインメントを統合的に学習するオンラインのセグメント対セグメントニューラルトランスダクションモデル（SSNT）を提案する。訓練時におけるアラインメントの正確な多項式マージナリゼーションと、推論時におけるアラインメント経路のビームサーチを可能にすることで、従来のエンコーダ・デコーダモデルよりもはるかに小さな隠れ層サイズで、要約生成および語彙変形処理のタスクで優れた性能を達成する。

ABSTRACT

We introduce an online neural sequence to sequence model that learns to alternate between encoding and decoding segments of the input as it is read. By independently tracking the encoding and decoding representations our algorithm permits exact polynomial marginalization of the latent segmentation during training, and during decoding beam search is employed to find the best alignment path together with the predicted output sequence. Our model tackles the bottleneck of vanilla encoder-decoders that have to read and memorize the entire input sequence in their fixed-length hidden states before producing any output. It is different from previous attentive models in that, instead of treating the attention weights as output of a deterministic function, our model assigns attention weights to a sequential latent variable which can be marginalized out and permits online generation. Experiments on abstractive sentence summarization and morphological inflection show significant performance gains over the baseline encoder-decoders.

研究の動機と目的

• 完全な入力符号化が終了するまで出力を生成できない、標準的なエンコーダ・デコーダモデルにおけるボトルネックを解消すること。
• 潜在的セグメンテーション機構を導入することで、オンラインで段階的にシーケンス対シーケンス生成を可能にすること。
• 訓練時における隠れアラインメントの正確な多項式時間マージナリゼーションを可能にし、決定論的注意機構の制限を克服すること。
• 推論時におけるアラインメント経路の効率的なビームサーチをサポートすることで、リアルタイム推論を実現すること。
• アラインメントと生成の共同学習が、モデル容量の要件を低減しつつ性能を向上させることを示すこと。

提案手法

• モデルは潜在アラインメントシーケンス $\boldsymbol{a}_{1}^{J}$ を導入し、各 $a_j = i$ は出力トークン $y_j$ を生成する際にどの入力トークンに注目しているかを示す。
• エンコーダとデコーダのRNNはそれぞれ独立に隠れ状態を更新し、入力と出力の表現を別々にモデル化可能である。
• 訓練時においては動的計画法を用いて、すべての可能なアラインメントシーケンスの正確なマージナリゼーションを実現し、近似を回避する。
• 推論時においては、アラインメント経路と出力シーケンスを同時に最適化するビームサーチを適用し、オンライン生成を実現する。
• 注意重みを決定論的関数ではなく、逐次的潜在変数として扱うことで、確率的マージナリゼーションを可能にする。
• このアーキテクチャは汎用的であり、ニューラルチューリングマシンやメモリネットワークなどのRNNベースのモデルに統合可能で、オンライン処理に適している。

実験結果

リサーチクエスチョン

• RQ1 神経的シーケンス対シーケンスモデルは、入力シーケンス全体が到着するまで待たずに、段階的に出力を生成できるか？
• RQ2 訓練時における入力シーケンスと出力シーケンス間の潜在的アラインメントを、正確にモデル化し、マージナリゼーションできるか？
• RQ3 アラインメントと生成の共同学習が、標準的なエンコーダ・デコーダモデルと比較して性能を向上させつつ、モデルサイズを小さくできるか？
• RQ4 モデルが先読みできる能力が、生成されるアラインメントの品質と直感的さにどのように影響するか？
• RQ5 モデルはオンライン設定および全入力設定の両方で、アテンションベースのベースラインを上回る性能を示せるか？

主な発見

• SSNTモデルは、要約生成および語彙変形処理タスクにおいて、標準的なエンコーダ・デコーダベースラインと比較して顕著な性能向上を達成する。
• 双方向エンコーダを用いた場合、アテンションベースのベンチマークを上回り、本モデルのアラインメント機構の有効性を示している。
• 優れた性能を達成しているにもかかわらず、SSNTモデルはベースラインのエンコーダ・デコーダモデルと比較して、はるかに小さな隠れ層サイズで実現されている。
• 定性的な分析から、モデルが各出力トークンを生成する前に必要な入力トークン数を適切に先読みしていることが明らかになり、直感的なアラインメントが得られている。
• ユニディレクショナルLSTMエンコーダを用いることで、オンライン生成が可能となり、リアルタイムアプリケーションに適している。
• マージナリゼーションに動的計画法、推論にビームサーチを用いることで、近似を伴わず、効率的かつ正確な推論が保証されている。