[論文レビュー] Why not be Versatile? Applications of the SGNMT Decoder for Machine Translation

Felix Stahlberg, Danielle Saunders+2 more|arXiv (Cornell University)|Mar 20, 2018

Natural Language Processing Techniques参考文献 24被引用数 7

ひとこと要約

この論文では、モジュラーな予測子インタフェースを通じて、多様なニューラルモデル、制約、記号的モデルを統合する、柔軟なニューラル機械翻訳デコードプラットフォームSGNMTを提示する。デコーダ戦略とモデルを分離することで、SGNMTは迅速なプロトタイピング、新しいNMTツールキット（例：TensorFlow、PyTorch）のシームレスな統合、TransformerとRNNの効率的組み合わせを可能にし、再実装なしに複数のNMTバックエンドで最先端のBLEUスコア（最大22.5）を達成した。

ABSTRACT

SGNMT is a decoding platform for machine translation which allows paring various modern neural models of translation with different kinds of constraints and symbolic models. In this paper, we describe three use cases in which SGNMT is currently playing an active role: (1) teaching as SGNMT is being used for course work and student theses in the MPhil in Machine Learning, Speech and Language Technology at the University of Cambridge, (2) research as most of the research work of the Cambridge MT group is based on SGNMT, and (3) technology transfer as we show how SGNMT is helping to transfer research findings from the laboratory to the industry, eg. into a product of SDL plc.

研究の動機と目的

• ニューラル機械翻訳（NMT）分野における急速なイノベーションに対処する。特に、アーキテクチャやツールキットの頻繁な変更が研究、教育、産業応用を妨える課題を解決する。
• 新しいNMTモデルやツールの統合に要する時間と作業を削減するため、統一的かつ拡張可能なデコードフレームワークを提供する。
• 1つのデコードパイプライン内で、ニューラルモデル、記号的モデル、制約付きモデルをシームレスに組み合わせることを可能にする。
• デコーダ戦略とモデル実装を分離することで、研究から産業への技術移転を促進し、迅速なプロトタイピングを実現する。
• NLP教育を支援するため、学生の研究プロジェクトや機械学習・音声技術プログラムの実習に適した柔軟で拡張可能なプラットフォームを提供する。

提案手法

• SGNMTは予測子抽象化を用い、モデルと制約を一様なインタフェースを持つモジュラーなコンponentsとしてカプセル化することで、プラグアンドプレイ統合を可能にする。
• 各予測子は、initialize、get_state、set_state、predict_next、consume のコアメソッドを実装しており、モデル間で一貫した状態保持スコアリングを実現する。
• SGNMTのデコーダは予測子に依存しないため、任意の検索戦略（例：ビームサーチ、グリーディデコード）を任意の予測子の組み合わせに適用可能である。
• Pythonインタフェースを介してC++ベースのツール（例：NPLMやTensorFlowモデル）への統合をサポートし、アダプタを介して非Pythonモデルへのアクセスを可能にする。
• ラティスとn-bestリストの再スコアリング、アンサンブル、MBRベースのデコードは一度実装し、すべての予測子で再利用可能であり、コードの重複を削減する。
• このシステムにより、TheanoからTensorFlowへの移行など、NMTツールキット間の容易な移行が可能になり、既存のコードが破壊されない。

実験結果

リサーチクエスチョン

• RQ1 新しいニューラル機械翻訳モデルやツールキットを、コアデコード論理の再実装なしに迅速に統合できるデコードプラットフォームは、どのように設計できるか？
• RQ2 統一フレームワークが、ニューラルモデル、記号的モデル、制約付きモデルを1つのデコードパイプラインにどれほど効果的に統合できるか？
• RQ3 柔軟なデコードアーキテクチャは、開発時間を短縮しつつ、高いパフォーマンスと拡張性を維持できるか？
• RQ4 このようなシステムは、NLPおよび機械学習分野の教育や学生プロジェクトをどれほど効果的に支援できるか？
• RQ5 同じフレームワークが、最先端の研究と産業分野の製品開発の両方をカバーでき、技術移転を円滑に可能にするか？

主な発見

• SGNMTは、TheanoベースのBlocks、TensorFlowベースのT2T、およびTransformerモデルを含む複数のNMTバックエンドを、デコード論理の再実装なしにシームレスに統合できる。
• T2T Transformerモデルを用いてKFTTテストセットで最大22.5のBLEUスコアを達成し、多様なNMTアーキテクチャにわたり優れたパフォーマンスを示した。
• 予測子フレームワークのおかげで、MBRベースのNMTやラティス再スコアリングを、新しいTransformerモデルを含むさまざまなNMTバックエンドで検証可能であり、デコードパイプラインの再書き直しを必要としなかった。
• 実装時間の大幅な短縮が実現され、TheanoからTensorFlowへの移行など、ツールキット間の迅速なプロトタイピングと移行が可能になり、既存コードの破壊を防いだ。
• SGNMTはケンブリッジ大学の教育現場でも成功裏に採用されており、MPhil学生の研究プロジェクト（NMT、言語モデル、WFSA制約付き音楽生成など）を支援している。
• 産業界では、SDL ResearchがSGNMTを用いてTransformerやモデル圧縮技術といった高度なNMT技術のプロトタイピングと評価を実施し、研究システムと生産システムを比較するための基準としてSGNMTが使用された。