[論文レビュー] Morphological Inflection Generation with Hard Monotonic Attention

Roee Aharoni, Yoav Goldberg|arXiv (Cornell University)|Nov 4, 2016

Natural Language Processing Techniques参考文献 24被引用数 6

ひとこと要約

この論文は、入力と出力の文字列間のほぼ逐次的なアライメントを明示的にモデル化するため、ハード単調的アテンション機構を用いたニューラルシーケンス・ツー・シーケンスモデルを提案する。このモデルは、特に小規模な学習データセットにおいて、従来のニューラルおよび非ニューラル手法（包括的潜在変数WFSTモデルを含む）を上回る最先端の性能を達成しており、線形時間のデコードと解像度を保った推論を可能にする。

ABSTRACT

We present a neural model for morphological inflection generation which employs a hard attention mechanism, inspired by the nearly-monotonic alignment commonly found between the characters in a word and the characters in its inflection. We evaluate the model on three previously studied morphological inflection generation datasets and show that it provides state of the art results in various setups compared to previous neural and non-neural approaches. Finally we present an analysis of the continuous representations learned by both the hard and soft attention \cite{bahdanauCB14} models for the task, shedding some light on the features such models extract.

研究の動機と目的

• 形態素が豊富な言語において、限られた学習データを用いた形態素屈曲生成の課題に取り組む。
• 連結形態論の言語的パターンにインspiredして、入力文字と出力文字の間の単調的アライメントを明示的にモデル化することで、ニューラルシーケンス・ツー・シーケンスモデルの性能を向上させる。
• アライメントと変換の同時学習を必要としない、より単純で効率的な学習手順を構築する。これは、ソフトアテンションモデルとは対照的である。
• 特にデータスパarsityが標準的なニューラルモデルの性能を制限するリソースが限られた状況において、既存のニューラルおよび非ニューラルモデルを上回ることを目的とする。
• 形態素屈曲の文脈において、ハードアテンションとソフトアテンションのメカニズムが学習する表現の分析と比較を行う。

提案手法

• モデルは、長距離依存性を捉えるために、各入力文字の文脈に配慮した表現を生成するため、双方向RNNエンコーダーを用いる。
• ハード単調的アテンション機構は、出力ステップごとに1つの入力状態を選択し、それを参照して記号を生成するか、次の状態にポインタを進めるかを制御する。
• デコーダーは、直前の予測を次のステップにフィードバックするフィードバック接続を持つ再帰的ネットワークであり、過去の出力に条件付けられた自己回帰的生成を可能にする。
• モデルは、独立して学習された文字レベルのアライメントから得られる真値の変換および制御シーケンスに基づいて交差エントロピー損失で訓練され、エンド・ツー・エンドのアライメント学習を回避する。
• 固定サイズのコンテキストベクトルへの圧縮を避けることで、入力の解像度を保持する。これにより、線形時間のデコードが可能になる。
• アテンション機構は、各ステップで1つの入力位置に集中し、重み付けしないアテンションを実現する。これにより、ソフトアテンションと比較して計算複雑性が低減される。

実験結果

リサーチクエスチョン

• RQ1 ハード単調的アテンション機構は、特に小規模なデータセットにおいて、形態素屈曲生成の性能を向上させることができるか？
• RQ2 リソースが限られた状況において、ハードアテンションモデルの性能は、ソフトアテンションおよび非ニューラルモデル（例：潜在変数WFST）と比較してどうなるか？
• RQ3 ハードアテンションとソフトアテンションモデルが形態素屈曲の文脈で学習する表現は、どの程度構造的および機能的に類似しているか？
• RQ4 制御機構による単調的アライメントの明示的モデリングは、エンド・ツー・エンドの同時学習と比較して、より優れたアライメント学習と一般化をもたらすか？
• RQ5 事前に学習されたアライメントに基づく、より単純な学習手順は、より複雑な同時訓練アテンションモデルを上回る性能を発揮するか？

主な発見

• 提案されたハード単調的アテンションモデルは、CELEX、Wiktionary、SIGMORPHON2016の各データセットで最先端の性能を達成し、従来のニューラルおよび非ニューラル手法を上回った。
• CELEXデータセットにおいて、Dreyerら（2008）の潜在変数WFSTモデルでさえ、訓練データのわずか数分の1のデータ量でも、このモデルがそれを上回った。これは、リソースが限られた状況でニューラルモデルが非ニューラルベースラインを初めて上回った初の事例である。
• モデルは線形時間のデコードと解像度を保った推論を可能にし、標準的なシーケンス・ツー・シーケンスモデルとは異なり、入力シーケンスを固定サイズのベクトルに圧縮しない。
• その単純さにもかかわらず、ハードアテンションモデルは、より複雑なソフトアテンションモデルと同様の機能的性質を持つ表現とアライメントを学習しており、隠れ表現の分析から明らかになった。
• 分析から、両モデルとも、記号の種別や位置的文脈といった特徴を学習済み表現に組み込んでいることが判明し、言語学的に意味のあるパターンを捉えていることが示された。
• 小規模な学習データセットにおいても、強力な一般化性能を示しており、これは、明示的なアライメントモデリングが、形態素屈曲タスクにおけるデータ効率を向上させることを示唆している。