[論文レビュー] Sequence-to-sequence neural network models for transliteration

Mihaela Rosca, Thomas M. Breuel|arXiv (Cornell University)|Oct 29, 2016

Natural Language Processing Techniques参考文献 15被引用数 57

ひとこと要約

本稿では、CTCアライメントとアテンションベースのモデルを用いたエプシロン挿入を伴う、エンドツーエンドのシーケンス・ツー・シーケンスニューラルネットワークを提案し、アラビア語→英語、英語→日本語、英語→IPAの変換タスクにおいて、最先端またはほぼ最先端の性能を達成した。また、再現性およびベンチマークのため、新規のオープンソースのアラビア語-英語データセットとトレーニング済みモデルを公開した。

ABSTRACT

Transliteration is a key component of machine translation systems and software internationalization. This paper demonstrates that neural sequence-to-sequence models obtain state of the art or close to state of the art results on existing datasets. In an effort to make machine transliteration accessible, we open source a new Arabic to English transliteration dataset and our trained models.

研究の動機と目的

• 従来の統計的モデリングおよびアライメント手順を回避するエンドツーエンドのニューラルシーケンス・ツー・シーケンスモデルを、変換タスクに適用すること。
• エプシロン挿入とCTC、アテンションベースのシーケンス・ツー・シーケンスモデルの性能を、複数の変換タスクにおいて評価すること。
• 既存のデータセットの限界を克服するため、多様なアラビア語→英語変換コーパスを新たに作成し、公開すること。
• 音声的および表記的特徴の統合を検討し、予測結果における誤差タイプを評価することで、変換システムの性能を向上させること。
• データセットとトレーニング済みモデルをオープンソース化することで、将来的な研究の再現可能性を確保するベンチマークを提供すること。

提案手法

• 出力シーケンスの長さを可変にするために、入力シーケンスに特別な記号（'_'）を挿入するエプシロン挿入技術を用い、接続主義的時系列分類（CTC）によるアライメントを可能にする。
• エプシロン挿入モデルには、双方向LSTMエンコーダーとCTCデコーダーを採用し、変更された入力シーケンスからターゲット表記を予測するように学習する。
• エンコーダー・デコーダーRNNアーキテクチャを用いたアテンションベースのシーケンス・ツー・シーケンスモデルを適用し、デコーダーが各出力ステップで入力の関連部分に注目する。
• 入力および出力をUnicodeコードポイントとして処理することで、ダイアクリティクスや特別記号を含む多言語文字のサポートを可能にする。
• TensorFlowを用いてGRUまたはLSTMセルでモデルを学習し、勾配の流れを改善するためにエンコーディング段階で入力シーケンスを逆順にする。
• すべてのタスクにおいて文字誤り率（CER）および語誤り率（WER）を評価指標として用い、先行研究と比較した。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのシーケンス・ツー・シーケンスニューラルネットワークは、従来の統計的モデルを上回る性能を示せるか？
• RQ2 アテンションベースのシーケンス・ツー・シーケンスモデルは、エプシロン挿入とCTCを用いたモデルと比較して、異なる言語ペアにおいて変換精度で優れているか？
• RQ3 ニューラル変換モデルにおける主な誤差パターンは何か？また、それらは源言語と標的言語の表記法的・音声的差異とどのように関係しているか？
• RQ4 語の頻度を無視したり、複数の妥当な表記を誤りとみなすなど、学習データの制限がモデル性能に及ぼす影響はどの程度か？
• RQ5 グラフィムとフォニームの入力を組み合わせることで、単一のグラフィック入力に比べて変換性能が向上するか？

主な発見

• アテンションベースのシーケンス・ツー・シーケンスモデルは、3つのベンチマークタスクすべてで最先端またはほぼ最先端の性能を達成した：アラビア語→英語（CER: 7.38）、英語→日本語（CER: 50.2）、英語→IPA（WER: 26.2）。
• 英語→IPA変換タスクでは、同じデータセット上でヤオとツワイグ（2015）が達成したWER 28.6よりも優れたWER 26.2を達成した。
• CTCを用いたエプシロン挿入モデルは、より単純なアーキテクチャにもかかわらず、アラビア語→英語変換タスクでCER 7.38を達成し、優れた性能を示した。
• 一般的な誤りには、アラビア語と英語における母音表現の違いによる母音の混同、およびアラビア語に存在しない対応する音素による「p」と「b」の混同が含まれた。
• アテンションベースのモデルはヤオとツワイグ（2015）のアテンションなしモデルを上回ったが、後者のバイディレクショナルLSTMにアライメント特徴を組み込んだモデルは依然としてそれを上回った。これは、明示的なアライメント特徴が暗黙のアテンションよりも効果的である可能性を示唆している。
• 本研究では、文字誤り率と語誤り率が独立して変動することを明らかにした。これは、変換研究において評価指標を注意深く選定する必要があることを示している。