[論文レビュー] Head Automata and Bilingual Tiling: Translation with Minimal Representations

Hiyan Alshawi|ArXiv.org|Jul 3, 1996

Natural Language Processing Techniques参考文献 17被引用数 52

ひとこと要約

本稿では、ヘッドオートマトンと二国語タイリングを用いた機械翻訳システムを提案する。コスト付き有限状態オートマトンをヘッド語にリンクさせることで、段階的に依存構造をモデル化する。動的計画法を用いて、コスト付き二国語語彙の使用により、ターゲット依存木の最適タイリングを探索する。最小限の意味的表現で効果的な翻訳を実現し、明示的な意味的形式主義を用いずに自然言語文字列のみで複雑なNLPタスクをサポートできることを示している。

ABSTRACT

We present a language model consisting of a collection of costed bidirectional finite state automata associated with the head words of phrases. The model is suitable for incremental application of lexical associations in a dynamic programming search for optimal dependency tree derivations. We also present a model and algorithm for machine translation involving optimal ``tiling'' of a dependency tree with entries of a costed bilingual lexicon. Experimental results are reported comparing methods for assigning cost functions to these models. We conclude with a discussion of the adequacy of annotated linguistic strings as representations for machine translation.

研究の動機と目的

• 複雑な意味的表現を避けるために文法的および語彙的構造に依存する機械翻訳システムの開発。
• 関連コストを伴う左および右の依存関係を符号化するヘッドオートマトンを用いて、言語内の依存構造をモデル化する。
• コストに基づくプルーニングを伴う動的計画法を用いて、コスト付き双方向オートマトンフレームワーク内での最適導出の効率的探索。
• 誤差最小化を用いた教師なし学習を含む、パrameter学習のための代替コスト関数の評価。
• 注釈付き言語的文字列（明示的な意味的形式主義を含まない）が、翻訳のような非自明なNLPタスクに十分な表現を提供できるかの検証。

提案手法

• ヘッドオートマトンを用いて依存木をモデル化する。ヘッドオートマトンは、ヘッド語の左および右従属語の関係列のペアを生成する重み付き有限状態機械である。
• 条件付き確率（例：P(↓,w′|w,r′)）を用いた生成的統計モデルを導入し、依存パラメータ（例：P(↓,w′|w,r′)）および語彙パラメータ（例：P(m,q|r,↓,w)）にコストを割り当て、導出にコストを付与する。
• 累積コストに基づく許容可能なプルーニングを用いた動的計画法を適用し、最適導出の探索における組み合わせ爆発を回避する。
• コスト付き二国語語彙のエントリを用いて、ターゲット依存グラフをタイル化することで二国語翻訳モデルを構築する。各エントリは、関連する構造的およびコストパラメータを伴い、ソースフレーズをターゲットフレーズにマッピングする。
• 対象依存木の最低コストタイリングを探索する変換アルゴリズムを実装し、対数尤度または誤差最小化の目的関数から導出されたコスト関数を用いる。
• モデルパラメータおよび構造を並列コーパスから自動的に取得し、モデル仕様における自由度の最小化に重点を置く。

実験結果

リサーチクエスチョン

• RQ1 意味的表現を明示的に用いずに、依存構造と語彙的関連のみを用いて機械翻訳を効果的に行うことができるか？
• RQ2 コストに基づくプルーニングを伴う段階的動的計画法は、最適導出の包括的探索を実行可能にするためにどのように利用できるか？
• RQ3 対数尤度と誤差最小化の両方のコスト関数の相対的利点は何か？翻訳モデルの学習にどのように寄与するか？
• RQ4 自然言語文字列に依存関係が注釈付けられている場合、それが複雑なNLPタスクに十分な表現を提供できる範囲はどの程度か？
• RQ5 言語モデル自体の構造をデータから自動的に取得することで、手作業で作成された形式主義への依存を軽減できるか？

主な発見

• ヘッドオートマトンモデルは、双方向有限状態機械を用いて、段階的かつコストに基づいた依存木の導出を効果的にサポートし、動的計画法による効率的探索を可能にする。
• 二国語タイリングアルゴリズムは、コスト付き二国語語彙を用いてターゲット依存グラフの最低コストタイリングを特定することで最適翻訳を達成し、組み合わせ爆発を回避する。
• 実験結果から、誤差最小化コスト関数が教師なしパrameter学習において対数尤度を上回り、翻訳精度を向上させることを示している。
• 本システムは、依存関係が注釈付けられた自然言語文字列が、機械翻訳に十分な表現を提供できることを示しており、複雑な意味的形式主義への依存を軽減している。
• 本アプローチにより、並列コーパスからモデルパラメータおよび構造的要素（例：語彙およびオートマトン構造）の両方を自動で取得でき、スケーラビリティが向上する。
• 本フレームワークに基づく英中翻訳プロトタイプは、競争力のある性能を示しており、最小限の表現による翻訳の実現可能性を検証している。