[论文解读] An introduction to the Europe Media Monitor family of applications

Ralf Steinberger, Bruno Pouliquen+1 more|arXiv (Cornell University)|Sep 20, 2013

Web Data Mining and Analysis参考文献 23被引用 91

一句话总结

本文介绍了欧洲媒体监测（Europe Media Monitor, EMM）多语言媒体监测应用家族，旨在自动化分析19至50种欧洲语言的跨语言新闻内容。通过整合多语言信息抽取与跨语言文档检索技术，EMM 实现了对欧洲联盟的全面媒体监控，支持政策监测与舆论分析，具备高覆盖度的多语言能力与可互操作的数据融合能力。

ABSTRACT

Most large organizations have dedicated departments that monitor the media to keep up-to-date with relevant developments and to keep an eye on how they are represented in the news. Part of this media monitoring work can be automated. In the European Union with its 23 official languages, it is particularly important to cover media reports in many languages in order to capture the complementary news content published in the different countries. It is also important to be able to access the news content across languages and to merge the extracted information. We present here the four publicly accessible systems of the Europe Media Monitor (EMM) family of applications, which cover between 19 and 50 languages (see http://press.jrc.it/overview.html). We give an overview of their functionality and discuss some of the implications of the fact that they cover quite so many languages. We discuss design issues necessary to be able to achieve this high multilinguality, as well as the benefits of this multilinguality.

研究动机与目标

• 解决在欧盟23种官方语言中监测多样化、多语言媒体环境的挑战。
• 通过从多种语言的新闻源中提取并融合信息，实现媒体监控的自动化。
• 实现对新闻内容的跨语言访问，支持多语言信息检索与分析。
• 设计可扩展的多语言系统，以应对语言多样性，同时不牺牲准确性或性能。
• 支持多语言政策与公共事务环境中机构对实时媒体情报的需求。

提出的方法

• EMM 系统采用流水线架构，结合多语言文本处理、跨语言的命名实体识别与共指消解技术。
• 采用语言无关的信息抽取技术，从多种语言的新闻文章中识别事件、参与者及关系。
• 通过多语言嵌入模型与语义索引实现跨语言文档检索，以实现跨语言内容对齐。
• 系统整合来自10,000多个新闻源的多语言数据（19至50种语言），采用标准化元数据与时间索引。
• 模块化设计支持语言特定处理与多语言归一化的插件组件。
• EMM 家族包含四个公开可访问的应用：EMM News、EMM Events、EMM Trends 与 EMM Monitor，各自承担不同的监控功能。

实验结果

研究问题

• RQ1 如何在语言结构差异显著的大量欧洲语言中实现媒体监控的自动化？
• RQ2 哪些设计原则能够支持可扩展的多语言信息抽取与跨语言文档检索？
• RQ3 高覆盖度的多语言能力如何相较于单语言系统提升媒体情报的完整性与准确性？
• RQ4 将多语言新闻源的信息融合为统一分析视图面临哪些技术和语言学挑战？
• RQ5 多语言媒体监控在多语言机构（如欧盟）中，能在多大程度上支持政策监测与舆论分析？

主要发现

• EMM 系统成功实现了对19至50种欧洲语言的媒体监控，显著提升了多语言媒体覆盖范围。
• 多语言信息抽取的整合实现了跨语言边界的事件与实体的一致性识别。
• 通过语义索引与多语言嵌入技术，跨语言检索性能得到提升，使用户无论使用何种语言均可访问相关资讯。
• 系统的模块化架构支持可扩展性与对新语言及媒体源的适应能力。
• EMM 家族应用提供了稳健且公开可访问的多语言媒体分析基础设施，支持机构与学术研究。
• 高覆盖度的多语言能力可检测到各国之间的互补性新闻内容，减少媒体监控中的盲区。