[论文解读] Head Automata and Bilingual Tiling: Translation with Minimal Representations

Hiyan Alshawi|ArXiv.org|Jul 3, 1996

Natural Language Processing Techniques参考文献 17被引用 52

一句话总结

本文提出一种基于头自动机与双语铺砌的机器翻译系统，利用与核心词关联的成本有限状态自动机来逐步建模依存结构。该方法采用动态规划技术，基于成本双语词典寻找目标依存树的最优铺砌，实现仅依赖最小语义表示的有效翻译，并证明仅靠自然语言字符串即可支持复杂NLP任务，而无需显式语义形式化。

ABSTRACT

We present a language model consisting of a collection of costed bidirectional finite state automata associated with the head words of phrases. The model is suitable for incremental application of lexical associations in a dynamic programming search for optimal dependency tree derivations. We also present a model and algorithm for machine translation involving optimal ``tiling'' of a dependency tree with entries of a costed bilingual lexicon. Experimental results are reported comparing methods for assigning cost functions to these models. We conclude with a discussion of the adequacy of annotated linguistic strings as representations for machine translation.

研究动机与目标

• 开发一种机器翻译系统，通过依赖句法和词汇结构避免复杂的语义表示。
• 使用编码左右依存关系及其关联成本的头自动机，对语言中的依存结构进行建模。
• 在成本加权的双向自动机框架中，应用带增量剪枝的动态规划技术，高效搜索最优推导路径。
• 评估不同成本函数用于参数训练的性能，包括无监督学习中的误差最小化方法。
• 测试标注的语法字符串（无需显式语义形式化）是否足以支持如翻译等非平凡NLP任务。

提出的方法

• 使用头自动机建模依存树，即加权有限状态机，用于生成核心词左右依存成分的关系序列。
• 采用生成式统计模型，通过条件概率分配推导成本，如依赖参数 P(↓,w′|w,r′) 和词汇参数 P(m,q|r,↓,w)，以量化推导路径的代价。
• 应用基于累积成本的可接受性剪枝的动态规划，避免最优推导路径搜索中的组合爆炸问题。
• 通过成本双语词典中的条目对目标依存图进行铺砌，构建双语翻译模型，每个条目将源短语映射到目标短语，并附带结构与成本参数。
• 实现一种转换算法，通过从对数似然或误差最小化目标导出的成本函数，搜索目标依存树的最低成本铺砌方案。
• 从平行语料库中自动获取模型参数与结构，重点在于最小化模型设定中的自由度。

实验结果

研究问题

• RQ1 是否仅使用依存结构与词汇关联即可有效实现机器翻译，而无需显式语义表示？
• RQ2 如何通过基于成本的剪枝实现增量动态规划，使最优推导路径的穷举搜索变得可行？
• RQ3 在训练翻译模型时，不同成本函数（如对数似然与误差最小化）的相对优势为何？
• RQ4 自然语言字符串若带有依存关系标注，在多大程度上可作为复杂NLP任务的充分表示？
• RQ5 语言模型本身的结构能否从数据中自动获取，从而减少对人工设计形式化方法的依赖？

主要发现

• 头自动机模型成功支持基于双向有限状态机的增量式、基于成本的依存树推导，通过动态规划实现高效搜索。
• 双语铺砌算法通过成本双语词典寻找目标依存图的最低成本铺砌，实现最优翻译，避免组合爆炸。
• 实验结果表明，误差最小化成本函数在无监督参数训练中优于对数似然，显著提升翻译准确率。
• 该系统证明，带有依存关系标注的自然语言字符串可作为机器翻译的充分表示，减少对复杂语义形式化的依赖。
• 该方法可从平行语料库中自动获取模型参数与结构组件（如词典与自动机构造），显著提升可扩展性。
• 基于该框架的英汉翻译原型系统表现出具有竞争力的性能，验证了最小表示翻译的可行性。