[论文解读] Mining and Exploiting Domain-Specific Corpora in the PANACEA Platform

Núria Bel, Vassilis Papavassiliou+3 more|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|Mar 8, 2013

Natural Language Processing Techniques参考文献 7被引用 4

一句话总结

本文介绍了 PANACEA 平台的语料库获取组件（CAC），该组件采用分布式的、面向语言和领域的网络爬取方法，自动化地从网络中提取单语和双语领域特定语料库。CAC 有效地挖掘了可用于适应机器翻译系统的平行语料库，通过句子对齐和资源利用，展示了有效的领域自适应能力。

ABSTRACT

The objective of the PANACEA ICT-2007.2.2 EU project is to build a platform that automates the stages involved in the acquisition, production, updating and maintenance of the large language resources required by, among others, MT systems. The development of a Corpus Acquisition Component (CAC) for extracting monolingual and bilingual data from the web is one of the most innovative building blocks of PANACEA. The CAC, which is the first stage in the PANACEA pipeline for building Language Resources, adopts an efficient and distributed methodology to crawl for web documents with rich textual content in specific languages and predefined domains. The CAC includes modules that can acquire parallel data from sites with in-domain content available in more than one language. In order to extrinsically evaluate the CAC methodology, we have conducted several experiments that used crawled parallel corpora for the identification and extraction of parallel sentences using sentence alignment. The corpora were then successfully used for domain adaptation of Machine Translation Systems.

研究动机与目标

• 自动化获取、生成和维护大规模语言资源，以供机器翻译系统使用。
• 解决从网络源高效且可扩展地构建领域特定语料库的挑战。
• 开发一个用于单语和双语数据的分布式、面向语言和领域的网络爬取流水线。
• 利用自动获取的平行语料库，实现机器翻译系统的领域自适应。
• 通过在真实世界机器翻译任务上的内在和外在验证，评估 CAC 的有效性。

提出的方法

• CAC 采用分布式爬取架构，收集特定语言和预定义领域中富含文本内容的网页文档。
• 其包含专门的模块，用于检测和从具有领域内内容的多语言网站中提取平行文本。
• 该系统应用句子对齐技术，识别并从爬取的语料库中提取平行句子。
• 该流水线旨在支持语言资源的持续更新和维护。
• 该方法利用带有语言和领域过滤的网络爬取，以确保获取数据的高相关性和高质量。
• 最终输出是一个经过筛选、对齐的平行语料库，适用于训练和适应机器翻译系统。

实验结果

研究问题

• RQ1 如何从网络中自动获取大规模、领域特定的单语和双语语料库？
• RQ2 分布式、定向爬取方法在提取高质量、领域内平行文本方面的有效性如何？
• RQ3 自动获取的平行语料库能否成功用于机器翻译系统的适应？
• RQ4 CAC 的句子对齐模块在领域特定平行数据上的表现如何？
• RQ5 领域自适应训练数据对机器翻译性能的影响是什么？

主要发现

• CAC 从网络源成功提取了与目标领域高度相关的领域特定单语和双语语料库。
• 该系统在面向特定语言和领域的分布式爬取中表现出可扩展性和高效性。
• 句子对齐技术有效识别了提取语料库中的平行句子。
• 挖掘出的平行语料库成功实现了机器翻译系统的领域自适应。
• 外在评估证实，所获取的资源显著提升了目标领域中的机器翻译性能。
• 该方法在生产就绪的流水线中证明了其可行性，可实现语言资源的自动化创建。