[論文レビュー] Exact Hard Monotonic Attention for Character-Level Transduction

Shijie Wu, Ryan Cotterell|arXiv (Cornell University)|May 15, 2019

Natural Language Processing Techniques参考文献 22被引用数 4

ひとこと要約

本稿は、動的計画法を用いて一括してモノトニックなアライメントと変換を学習する、文字レベルのシーケンス・トゥ・シーケンス変換のための正確なハードモノトニックアテンション機構を提案する。非モノトニックおよびパイプラインベースのベースラインを上回る性能を発揮し、語彙的屈曲処理で最先端の性能を達成するとともに、発音表記変換および翻訳タスクでも優れた結果を示す。

ABSTRACT

Many common character-level, string-to string transduction tasks, e.g., grapheme-tophoneme conversion and morphological inflection, consist almost exclusively of monotonic transductions. However, neural sequence-to sequence models that use non-monotonic soft attention often outperform popular monotonic models. In this work, we ask the following question: Is monotonicity really a helpful inductive bias for these tasks? We develop a hard attention sequence-to-sequence model that enforces strict monotonicity and learns a latent alignment jointly while learning to transduce. With the help of dynamic programming, we are able to compute the exact marginalization over all monotonic alignments. Our models achieve state-of-the-art performance on morphological inflection. Furthermore, we find strong performance on two other character-level transduction tasks. Code is available at https://github.com/shijie-wu/neural-transducer.

研究の動機と目的

• 語彙的屈曲や発音表記変換といった文字レベルの変換タスクにおいて、モノトニック性が有益なインダクティブバイアスであるかどうかを調査すること。
• アライメントと変換モデルを別々に処理するパイプライン手法とは異なり、アライメントと変換を同時に学習することで、従来のモノトニックモデルの性能不足を是正すること。
• 動的計画法を用いて、エンド・ツー・エンドの学習を可能にする、モノトニックアライメントの正確な推論アルゴリズムを開発すること。
• 厳密なモノトニック性を強制することで、非モノトニックまたは緩い制約付きモデルと比較して性能が向上するかどうかを評価すること。
• モノトニック制約下で、0次モデルに比べてモデル容量を増加させた1次モデルが性能向上をもたらすかどうかを検証すること。

提案手法

• Wuら（2018）の0次ハードアテンションモデルを拡張し、すべての有効なモノトニックアライメントについての正確なマージナル化を動的計画法を用いて実現することで、アライメントに厳密なモノトニック性を強制する。
• アライメント遷移をマルコフ的（Markovian）にモデル化する1次ハードアテンションの変種を導入し、モノトニック性を維持しながらより表現力の高いアライメント学習を可能にする。
• O(|x|·|y|·|Σ_y|)時間で、モノトニックアライメント制約下でのターゲットシーケンスの正確な対数尤度を動的計画法により計算する。
• 推論にはグリーディデコード方式を採用し、アライメントと変換を同時に最適化する一括学習目的関数を用いる。
• 和項の順序を再配置することで指数的計算量を回避し、モノトニックアライメント上のマージナル尤度を実行可能に計算する。
• 本モデルを3つの文字レベル変換タスク（語彙的屈曲処理、発音表記変換、固有名詞の翻訳）に適用する。

実験結果

リサーチクエスチョン

• RQ1 ハードアテンションにおける厳密なモノトニック性の強制が、文字レベルの変換タスクでの性能向上に寄与するか？
• RQ2 従来のモノトニックモデルの性能不足は、アライメントと変換の間で一括学習が行われていないことが原因であるか？
• RQ3 モノトニックアライメントの正確な動的計画法による推論が、非モノトニックまたはパイプラインシステムと比較して一般化性能を向上させるか？
• RQ4 モノトニック制約下でモデル容量を増加させること（1次対0次）が、性能向上に寄与するか？
• RQ5 アライメントが事前に計算されるのではなく、一括して学習される場合に、モノトニック性は有用なインダクティブバイアスとなるか？

主な発見

• 1次モノトニックハードアテンションモデルは、CoNLL-SIGMORPHON 2017語彙的屈曲共有タスクで、94.8%の精度を達成し、これまでの最高単一モデルを上回る最先端の性能を発揮した。
• 0次モノトニックモデル（0-mono）は、すべての3つのタスクで非モノトニック0ハードおよびソフトアテンションモデルを上回り、アライメントを一括学習する際、厳密なモノトニック性が有益であることを示している。
• 1次モノトニックモデル（1-mono）は、発音表記変換（41.2% ACC）および固有名詞翻訳（0.113 MLD）で最高性能を記録し、一部のタスクでは表現力の向上が有効であることを示している。
• 語彙的屈曲処理において、0-monoと1-monoモデルは94.8%で同率となり、1次モデルの追加パラメータが常に性能向上に寄与するわけではないが、モノトニック制約そのものが鍵要因であることが示された。
• 0-monoモデルは、すべてのタスクで0-hardモデルを上回り、非モノトニックまたはパイプライン的手法と比較して、モノトニックアライメントの一括学習がより効果的であることを実証した。
• 結果から、従来のモノトニックモデルの性能不足は、モノトニック性そのものに起因するのではなく、アライメントと変換の間で一括学習が行われていなかったことが主な要因であると考えられる。