[論文レビュー] Filling Knowledge Gaps in a Broad-Coverage Machine Translation System

Kevin Knight, Ishwar Chander+7 more|ArXiv.org|Jun 10, 1995

Natural Language Processing Techniques参考文献 17被引用数 44

ひとこと要約

この論文は、統計的手法と知識ベース機械翻訳（KBMT）を統合することで、広域カバレッジ機械翻訳システムにおける知識の欠落を補うハイブリッドアプローチを提示する。特に、冠詞挿入および意味的順序付けのための頑健な統計モデルが、JAPANGLOSS日本語-英語翻訳システムにおける欠落した語彙的・文法的・概念的知識を効果的に処理できることを示しており、並列コーパスを大規模に必要とせずに、後処理の正確性が81%に達し、翻訳品質が著しく向上している。

ABSTRACT

Knowledge-based machine translation (KBMT) techniques yield high quality in domains with detailed semantic models, limited vocabulary, and controlled input grammar. Scaling up along these dimensions means acquiring large knowledge resources. It also means behaving reasonably when definitive knowledge is not yet available. This paper describes how we can fill various KBMT knowledge gaps, often using robust statistical techniques. We describe quantitative and qualitative results from JAPANGLOSS, a broad-coverage Japanese-English MT system.

研究の動機と目的

• 決定的な知識が欠落している状況における知識ベース機械翻訳（KBMT）システムの知識の欠落を解消すること。
• 完全な意味的・語彙的リソースが入手できない新聞本文のような広域カバレッジ分野にKBMTをスケーラブルに適用すること。
• 不完全な知識がある状況でも、頑健な処理速度と翻訳品質を維持するシステムの開発。
• より豊富な知識ベースや言語理論が整うまでの間、統計的手法をブリッジとして統合すること。
• 統計的後処理および推論が、大規模な並列コーパスに依存せずに、欠落したKBMT部品を効果的に補完できることを実証すること。

提案手法

• 80MBの英語テキストを学習データとして用いた統計的後処理モジュールを採用し、冠詞なしの英語出力を対象に冠詞挿入を実施。81%の正確性を達成。
• 決定木を用いて冠詞選択における長距離依存関係をモデル化し、文脈的特徴の柔軟な統合を可能にした。
• KBMTにノイズのあるチャネルモデルの類似を適用。中間表現としてのインタリンガ語表現を想定し、P(I)およびP(J|I)を統計的に推定。
• 手動で構築した制約と関係的n-gramスコアリングを用いて意味的解釈に非ゼロ確率を割り当てた。
• 未知語や欠落した文法規則に対処するため、統計的推論およびグロッシングモジュールを統合。
• 解析、意味的分析、生成の各段階に分離されたモジュラーKBMTアーキテクチャを採用。各段階で段階的な知識追加と欠落補填が可能。

実験結果

リサーチクエスチョン

• RQ1 決定的な知識が欠落している状況におけるKBMTシステムの知識の欠落を効果的に補填する方法は何か？
• RQ2 統計的手法をKBMTパイプラインに信頼性を持って統合することで、頑健性および翻訳品質を向上させられるか？
• RQ3 統計的後処理が、冠詞選択のようなタスクにおいて、完全な意味的知識を代替できる程度はどの程度か？
• RQ4 完全な語彙的および文法的リソースが欠落している状況でも、システムが高い処理速度と品質を維持できるか？
• RQ5 単語語彙データで学習した統計モデルが、広域カバレッジMTシステムにおける欠落したKBMT部品を効果的に補填できるか？

主な発見

• 冠詞挿入のための統計的後処理モジュールは81%の正確性を達成し、デフォルトの決定を著しく上回り、人間水準の性能（96%）に近づいた。
• システムは処理速度が頑健であり、段階的な知識追加に伴い改善され、新聞本文のような広域カバレッジ分野へのスケーラビリティを示した。
• 統計的手法が大規模な並列コーパスを必要とせず、語彙的・文法的・概念的知識の欠落を効果的に補填できた。
• 手動で構築した制約と関係的n-gramスコアリングを用いた意味的順序付けにより、意味のない解釈が効果的に除外され、翻訳品質が向上した。
• KBMTにノイズのあるチャネルモデルの類似を適用することで、不完全な知識がある状況でもインタリンガ語表現に対する確率的推論を可能にする統計的フレームワークが得られた。
• 統計的モジュールをKBMTパイプラインに統合することで、特に日本語のような語形変化が豊富または合成語的言語において、曖昧さや欠落情報の効果的処理が可能になった。