[論文レビュー] Neural Machine Transliteration: Preliminary Results

Amir H. Jadidinejad|arXiv (Cornell University)|Sep 14, 2016

Natural Language Processing Techniques参考文献 18被引用数 7

ひとこと要約

本稿では、双方向RNNとソフトアテンションを活用して、元言語の名前を目的言語の綴りに変換する際の発音を保持する、アテンションを備えた文字ベースのニューラルエンコーダデコーダモデルを提案する。複数の言語対についての実験では、従来の統計的モデルに比べ顕著な改善が得られ、英語→中国語や英語→ペルシャ語を含む多様なデータセットで高い正確性とFスコアを達成した。

ABSTRACT

Machine transliteration is the process of automatically transforming the script of a word from a source language to a target language, while preserving pronunciation. Sequence to sequence learning has recently emerged as a new paradigm in supervised learning. In this paper a character-based encoder-decoder model has been proposed that consists of two Recurrent Neural Networks. The encoder is a Bidirectional recurrent neural network that encodes a sequence of symbols into a fixed-length vector representation, and the decoder generates the target sequence using an attention-based recurrent neural network. The encoder, the decoder and the attention mechanism are jointly trained to maximize the conditional probability of a target sequence given a source sequence. Our experiments on different datasets show that the proposed encoder-decoder model is able to achieve significantly higher transliteration quality over traditional statistical models.

研究の動機と目的

• スクリプト変換中に発音を保持するエンドツーエンドのニューラルモデルを構築すること。
• 多様な言語対や複雑な音声的対応関係を扱う際の従来の統計的モデルの限界を克服すること。
• ベンチマーク表記変換データセット上で、アテンションを備えた文字レベルのシーケンス・ツー・シーケンスモデルの有効性を評価すること。
• タスク固有のチューニングなしに、言語対間で一般化できるかを示すこと。

提案手法

• エンコーダは入力文字を処理し、コンテキストベクトルを生成する双方向RNNである文字ベースのエンコーダデコーダフレームワークが使用される。
• デコーダは、出力生成中にエンコーダの隠れ状態の関連部分に注目するためのソフトアテンション機構を備えた単方向RNNを用いる。
• アテンション機構は、各デコーディングステップで、現在の出力との関連性に基づいてエンコーダの隠れ状態を重み付けし、コンテキストベクトルを計算する。
• 正しい表記変換の条件付き対数尤度を最大化するように、確率的勾配降下法とAdam最適化アルゴリズムを併用して、モデルを共同で学習する。
• 推論段階では、最も確率の高い表記変換シーケンスに近づくためにビームサーチのデコーディング戦略が採用される。
• モデルは、言語対ごとの再訓練やハイパーパrameterチューニングなしに、複数の言語対に応用可能である。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルシーケンス・ツー・シーケンスモデルが、言語固有のチューニングなしに多様な言語対で高品質な表記変換を達成できるか？
• RQ2 標準的なRNNエンコーダと比較して、アテンション機構が表記変換性能にどのように寄与するか？
• RQ3 表記変換タスクにおいて、文字レベル表現が単語レベルやサブワードレベルのモデルをどれほど上回るか？
• RQ4 スクリプトの複雑さや文字セットの違いが異なる言語対において、モデルの一般化性能にどの程度影響を与えるか？

主な発見

• 提案されたニューラルモデルは、すべての言語対でベースラインの統計的モデルを顕著に上回り、すべてのタスクで正確性とFスコアの向上が確認された。
• 英語→ペルシャ語表記変換では、モデルは正確性0.7116、Fスコア0.5673を達成したのに対し、ベースラインはそれぞれ0.4818と0.4482であった。
• 英語→ベンガル語表記変換では、モデルは正確性0.4737、Fスコア0.3438を達成し、ベースラインの0.2870と0.2837を上回った。
• 訓練データサイズや文字セットの複雑さが異なるデータセットに対しても、モデルは安定した収束を示し、英語→ヘブライ語のような単純な言語対では10〜20エポックで安定した学習が確認された。
• アテンション機構により、モデルは関連する入力文字に動的に注目でき、アライメントの質と出力品質が向上した。
• 本モデルは、当時におけるNEWS 2015–16共有タスクベンチマークで最先端の性能を達成し、アテンションを用いたエンドツーエンド学習の有効性を裏付けた。