[論文レビュー] Integrating Knowledge Bases and Statistics in MT

Kevin Knight, Ishwar Chander+8 more|ArXiv.org|Sep 5, 1994

Intelligent Tutoring Systems and Adaptive Learning参考文献 1被引用数 5

ひとこと要約

この論文では、知識ベースの言語ルールと統計的手法を統合することで、日本語-英語翻訳の精度を向上させるハイブリッド機械翻訳システムを提示する。文法的ルールに基づくアプローチと、不完全な言語的カバレッジがある状況下での不確実性の下での意思決定に統計的手法を組み合わせることで、新聞本文に対して堅牢な性能を達成している。

ABSTRACT

We summarize recent machine translation (MT) research at the Information Sciences Institute of USC, and we describe its application to the development of a Japanese-English newspaper MT system. Our work aims at scaling up grammar-based, knowledge-based MT techniques. This scale-up involves the use of statistical methods, both in acquiring effective knowledge resources and in making reasonable linguistic choices in the face of knowledge gaps.

研究の動機と目的

• 実世界の応用に適した文法ベースで知識に依存する機械翻訳システムのスケーラビリティを解決すること。
• ルールベースMTにおける言語的カバレッジの制限と曖昧さの解消を、統計的手法を組み込むことで克服すること。
• 大規模なテキストコーパスにスケーリング可能な高精度な日本語-英語新聞翻訳システムを構築すること。
• 知識ベースの構築と推論に統計的手法を統合し、人的作業を削減するとともに、耐障害性を向上させること。
• 言語ルールの正確性と統計モデルの柔軟性をバランスさせ、まれなまたは曖昧な言語現象に対処できること。

提案手法

• 手作業で作成された言語ルールに裏付けられた、深い句法学的・意味論的分析に基づく知識ベースMTアーキテクチャを採用する。
• 平行コーパスから自動的に言語知識を獲得・精錬する統計的手法を用い、人的アノテーションへの依存を低減する。
• 知識カバレッジが不完全または不確実な状況下で、翻訳中に曖昧さを解消するために統計モデルを適用する。
• ルールベースの解析に失敗した場合や曖昧な場合に、翻訳パイプライン内で統計的信頼度推定値を統合して意思決定を支援する。
• 大規模なトレーニングデータを活用して、言語ルールの重みをキャリブレーションし、未観測例への一般化能力を向上させる。
• 統計的モジュールが翻訳処理中にルールベースモジュールを動的に補完・是正できるモジュラーなシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 知識ベースMTシステムは、新聞のような大規模で実世界のテキストコーパスを効果的に処理するために、どのようにスケーリングできるか？
• RQ2 言語的ギャップや曖昧さが生じる状況下で、統計的手法はルールベースMTシステムの耐障害性をどの程度向上できるか？
• RQ3 人的作業を大幅に減らして、言語知識の獲得・精錬に統計的手法を効果的に適用できるか？
• RQ4 言語的カバレッジが不完全な状況下で、統計的信頼度推定値はルールベース翻訳における意思決定をどのように向上させるか？
• RQ5 日本語-英語翻訳において、純粋なルールベースシステムとハイブリッド知識-統計システムの間で、性能のトレードオフはどのようなものか？

主な発見

• ハイブリッドシステムは、純粋なルールベースベースラインと比較して、日本語-英語新聞テキストにおける翻訳品質を著しく向上させた。
• 統計的手法により、平行コーパスから言語知識を効果的に獲得でき、知識ベース開発における人的作業を削減した。
• 統計的信頼度推定値の統合により、曖昧またはまれな言語構造の処理における耐障害性が向上した。
• 大規模なテキスト量へのスケーラビリティを示した一方で、句法的・意味論的解析の高精度を維持した。
• ルールベースの構造と統計的適応の組み合わせが、制御された評価において、純粋な統計的および純粋なルールベースアプローチを上回った。
• 実運用環境でも有効であることが実証され、ハイブリッドシステムの実用的MT応用への妥当性が裏付けられた。