[논문 리뷰] An introduction to the Europe Media Monitor family of applications

Ralf Steinberger, Bruno Pouliquen외 1명|arXiv (Cornell University)|2013. 09. 20.

Web Data Mining and Analysis참고 문헌 23인용 수 91

한 줄 요약

이 논문은 19~50개 유럽어를 아우르는 다국어 뉴스 분석을 자동화하기 위해 설계된 다국어 미디어 모니터링 응용 프로그램인 유럽 미디어 모니터링(EMM) 가족을 소개한다. 다국어 정보 추출 및 다국어 문서 검색 기술을 통합함으로써 EMM은 유럽연합의 포괄적인 미디어 감시를 가능하게 하며, 높은 다국어 커버리지와 상호운용성 있는 데이터 융합을 통해 정책 모니터링 및 여론 분석을 지원한다.

ABSTRACT

Most large organizations have dedicated departments that monitor the media to keep up-to-date with relevant developments and to keep an eye on how they are represented in the news. Part of this media monitoring work can be automated. In the European Union with its 23 official languages, it is particularly important to cover media reports in many languages in order to capture the complementary news content published in the different countries. It is also important to be able to access the news content across languages and to merge the extracted information. We present here the four publicly accessible systems of the Europe Media Monitor (EMM) family of applications, which cover between 19 and 50 languages (see http://press.jrc.it/overview.html). We give an overview of their functionality and discuss some of the implications of the fact that they cover quite so many languages. We discuss design issues necessary to be able to achieve this high multilinguality, as well as the benefits of this multilinguality.

연구 동기 및 목표

• 유럽연합의 23개 공식어를 포함한 다양한 다국어 미디어 환경을 모니터링하는 데 도전하는 것.
• 다국어 뉴스 자료에서 정보를 추출하고 융합함으로써 미디어 모니터링을 자동화하는 것.
• 뉴스 콘텐츠에 대한 다국어 접근성을 제공하고 다국어 정보 검색 및 분석을 지원하는 것.
• 언어적 다양성을 유지하면서 정확성이나 성능을 희생시키지 않는 스케일러블한 다국어 시스템을 설계하는 것.
• 다국어 정책 및 공공 분야에서 실시간 미디어 지능이 필요한 기관의 요구를 충족시키는 것.

제안 방법

• EMM 시스템은 다국어 텍스트 처리, 명명된 엔티티 인식, 그리고 다국어 간 공명 해결을 통합한 파이프라인 아키텍처를 사용한다.
• 다국어 뉴스 기사에서 사건, 주체, 관계를 식별하기 위해 언어에 의존하지 않는 정보 추출 기법을 적용한다.
• 다국어 임베딩 모델과 의미적 색인 기반으로 콘텐츠를 언어 간에 정렬함으로써 다국어 문서 검색을 실현한다.
• 표준화된 메타데이터와 시간 인덱싱을 사용해 10,000개 이상의 뉴스 소스에서 유래한 데이터를 19~50개 언어로 통합한다.
• 언어별 처리 및 다국어 정규화를 위한 플러그인 컴포넌트를 지원하는 모듈식 설계를 채택한다.
• EMM 가족은 EMM 뉴스, EMM 이벤트, EMM 트렌드, EMM 모니터의 네 가지 공개 애플리케이션을 포함하며, 각각 다른 모니터링 기능을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 언어적 구조를 지닌 유럽어 19~50개에 걸쳐 미디어 모니터링을 어떻게 자동화할 수 있는가?
• RQ2 확장 가능한 다국어 정보 추출 및 다국어 문서 검색을 가능하게 하는 설계 원칙은 무엇인가?
• RQ3 단일 언어 시스템에 비해 다국어 커버리지가 높을수록 미디어 지능의 완전성과 정확도가 어떻게 향상되는가?
• RQ4 다국어 뉴스 소스에서 유닛화된 분석 뷰로 정보 융합을 수행할 때 발생하는 기술적 및 언어적 과제는 무엇인가?
• RQ5 다국어 미디어 모니터링이 EU와 같은 다국어 기관에서 정책 모니터링 및 여론 분석을 얼마나 효과적으로 지원할 수 있는가?

주요 결과

• EMM 시스템은 19~50개의 유럽어를 아우르는 미디어 모니터링을 성공적으로 지원하여 다국어 미디어 커버리지가 크게 향상되었다.
• 다국어 정보 추출 통합을 통해 언어 간 경계를 넘어 일관된 사건 및 엔티티 식별이 가능해졌다.
• 의미적 색인과 다국어 임베딩를 통해 다국어 검색 성능이 향상되어 사용자가 언어에 관계없이 관련 콘텐츠에 접근할 수 있게 되었다.
• 시스템의 모듈식 아키텍처 덕분에 새로운 언어와 뉴스 소스에 대한 확장성과 적응성이 확보되었다.
• EMM 가족 애플리케이션은 기관 및 학술 연구를 지원하는 견고하고 공개 가능한 다국어 미디어 분석 인프라를 제공한다.
• 높은 다국어 커버리지 덕분에 국가 간 보완적인 뉴스 콘텐츠를 탐지할 수 있어 미디어 모니터링의 빈도를 줄일 수 있었다.