[論文レビュー] Statistical Machine Translation by Parsing

I. Dan Melamed, Wei Wang|arXiv (Cornell University)|Jul 1, 2004

Natural Language Processing Techniques被引用数 2

ひとこと要約

本論文は、従来のパーサーを文字列タプルおよび多次元文法を扱えるように拡張することで、構文に配慮した統計的機械翻訳（SMT）を可能にする一般化されたパーサー枠組みを導入する。3つのコアな抽象化—同期パーサー、翻訳者、同期化者—を提案し、構文構造の推論とアラインメントを統合し、構文に配慮したSMTシステムのトレーニングおよびデプロイの体系的レシピを提供する。

ABSTRACT

Designers of statistical machine translation (SMT) systems have begun trying to exploit tree-structured syntactic information. This article offers a coherent algorithmic framework to facilitate such efforts. Our main contribution is a generalization of the common notion of parsing. In an ordinary parser, the input is a single string, and the grammar ranges over strings. In order to use syntactic information, an SMT system requires generalizations of ordinary parsing algorithms that allow the input to consist of string tuples and/or the grammar to range over string tuples. Three particular generalizations, connected by some trivial glue, are all that is necessary for syntax-aware SMT: • A synchronous parser is an algorithm that can infer the syntactic structure of each component text in a multitext and simultaneously infer the correspondence relation between these structures. • When a parser’s input can have fewer dimensions than the parser’s grammar, it is a translator. • When a parser’s grammar can have fewer dimensions than the parser’s input, it is a synchronizer. This article offers a guided tour of these generalized parsing algorithms. It culminates with a recipe for using generalized parsing algorithms to train and apply a syntax-aware SMT system.

研究の動機と目的

• 構文的構造を統計的機械翻訳システムに統合するための統一されたアルゴリズム的枠組みの欠如に対処すること。
• 従来のパーサーを複数の入力文字列および多次元文法を扱えるように一般化し、共同での構文的解析とアラインメントを可能にすること。
• パーサー、翻訳、同期化の役割を、構文に配慮したSMTにおいて形式的に定式化するための3つの一般化されたパーサー抽象化を通じて統一すること。
• 提案された一般化されたパーサーアルゴリズムを用いて、構文に配慮したSMTシステムのトレーニングおよび適用の実用的で体系的なレシピを提供すること。

提案手法

• 複数のテキストおよびそれらの構造的対応を同時に推論する同期パーサーの概念を導入する。
• 入力の次元数が文法の次元数より少ないパーサーを翻訳者として定義し、構文的アラインメントを伴った言語間翻訳を可能にする。
• 文法の次元数が入力の次元数より少ないパーサーを同期化者として定義し、異なるテキスト次元間の構造のアラインメントを可能にする。
• これらの3つの一般化されたパーサー型が共通の理論的基盤と共有されるアルゴリズム的原則によって結びつけられる統一枠組みを確立する。
• SMTにこの枠組みを適用し、多言語テキストペアにおけるアラインドされた構文的構造の上でのパーサーとしての翻訳をモデル化する。
• 一般化されたパーサー枠組みを用いて、構文的構造を活用して翻訳性能を向上させる構文に配慮したSMTシステムのトレーニングおよび適用を行う。

実験結果

リサーチクエスチョン

• RQ1 従来のパーサーは、複数のテキストの共同構文的解析とその構造的アラインメントを扱えるようにどのように一般化できるか？
• RQ2 構文に配慮した機械翻訳におけるパーサー、翻訳、同期化を統一するために必要な形式的抽象化は何か？
• RQ3 文法が文字列タプルを範囲することで、機械翻訳における多次元構文的解析をどのように可能にできるか？
• RQ4 入力と文法の次元数の不一致が、翻訳および同期化タスクを定義する上で果たす役割は何か？
• RQ5 構文に配慮したSMTシステムの体系的トレーニングおよび適用を可能にする統一されたパーサー枠組みを構築できるか？

主な発見

• 提案された枠組みは、文字列タプルおよび多次元文法を扱えるように従来のパーサーを成功裏に一般化し、構文に配慮したSMTを可能にした。
• 同期パーサー、翻訳、同期化は、明確な意味的役割を持つ単一のアルゴリズム的枠組みの下で形式的に統一された。
• この枠組みは、一般化されたパーサーアルゴリズムを用いた構文に配慮したSMTシステムのトレーニングおよび適用の体系的レシピを提供する。
• 入力と文法の次元数の不一致の抽象化により、パーサー、翻訳、同期化タスクの明確な区別が可能になった。
• このアプローチは、臨時の拡張を必要とせず、構文的構造を統計的機械翻訳に統合するための整合的で拡張可能な基盤を提供する。