[论文解读] Integrating Knowledge Bases and Statistics in MT

Kevin Knight, Ishwar Chander+8 more|ArXiv.org|Sep 5, 1994

Intelligent Tutoring Systems and Adaptive Learning参考文献 1被引用 5

一句话总结

本文提出了一种混合机器翻译系统，将基于知识的语言学规则与统计方法相结合，以提升日语-英语翻译质量。通过将基于规则的语法分析与统计技术相结合，用于知识获取和不确定性下的决策，该系统在语言覆盖不完整的情况下，仍能对新闻文本实现稳健的性能表现。

ABSTRACT

We summarize recent machine translation (MT) research at the Information Sciences Institute of USC, and we describe its application to the development of a Japanese-English newspaper MT system. Our work aims at scaling up grammar-based, knowledge-based MT techniques. This scale-up involves the use of statistical methods, both in acquiring effective knowledge resources and in making reasonable linguistic choices in the face of knowledge gaps.

研究动机与目标

• 解决基于语法、知识密集型机器翻译系统在实际应用中的可扩展性问题。
• 通过引入统计方法，克服基于规则的机器翻译在语言覆盖范围和歧义解析方面的局限性。
• 开发一种实用的日语-英语新闻翻译系统，在保持高精度的同时可扩展至大规模文本语料。
• 将统计技术整合到知识库构建与推理过程中，以减少人工工作量并提升鲁棒性。
• 在语言学规则的精确性与统计模型的灵活性之间取得平衡，以应对罕见或歧义的语言现象。

提出的方法

• 采用基于知识的机器翻译架构，基于手工构建的语言学规则，进行深层次的句法与语义分析。
• 利用统计方法从平行语料库中自动获取并优化语言学知识，降低对人工标注的依赖。
• 应用统计模型在语言知识覆盖不完整或存在不确定性时，解决翻译中的歧义问题。
• 将统计置信度估计集成到翻译处理流程中，以在基于规则的分析失败或存在歧义时提供决策指导。
• 利用大规模训练数据校准语言学规则的权重，提升对未见样本的泛化能力。
• 设计模块化系统，使统计组件在翻译处理过程中能动态支持并纠正基于规则的组件。

实验结果

研究问题

• RQ1 如何有效扩展基于知识的机器翻译系统，以处理如新闻等大规模真实世界文本语料？
• RQ2 在存在语言空白或歧义的情况下，统计方法能在多大程度上提升基于规则的机器翻译系统的鲁棒性？
• RQ3 统计技术能否在无需大量人工干预的情况下，有效获取并优化语言学知识？
• RQ4 当语言覆盖不完整时，统计置信度估计如何增强基于规则翻译中的决策能力？
• RQ5 在日语-英语翻译中，纯基于规则的系统与混合知识-统计系统之间的性能权衡如何？

主要发现

• 与纯基于规则的基线系统相比，该混合系统在日语-英语新闻文本上的翻译质量显著提升。
• 统计方法有效实现了从平行语料库中获取语言学知识，显著减少了知识库开发中的人工工作量。
• 统计置信度估计的集成提升了系统在处理歧义或罕见语言结构时的鲁棒性。
• 该系统在保持句法与语义分析高精度的同时，展现出对大规模文本数据的可扩展性。
• 基于规则的结构与统计自适应的结合，在受控评估中优于纯统计与纯规则方法。
• 该方法在实际部署中表现有效，证明了混合系统在实用机器翻译应用中的可行性。