[論文レビュー] Acronym recognition and processing in 22 languages

Maud Ehrmann, Leo della Rocca+2 more|arXiv (Cornell University)|Sep 24, 2013

Biomedical Text Mining and Ontologies参考文献 15被引用数 8

ひとこと要約

本稿では、22か国語の多言語的省略語認識および処理システムを提示する。医療分野のパターンを一般ニュースドメインに適応させ、省略語パターン（例：'International Monetary Fund (IMF)'）の検出方法と、長表記のバリエーションを統一されたエンティティ表現に自動クラスタリングする手法を導入。多様な言語的構造にわたる広範な統計的分析を通じて、高いパフォーマンスを達成した。

ABSTRACT

We are presenting work on recognising acronyms of the form Long-Form (Short-Form) such as "International Monetary Fund (IMF)" in millions of news articles in twenty-two languages, as part of our more general effort to recognise entities and their variants in news text and to use them for the automatic analysis of the news, including the linking of related news across languages. We show how the acronym recognition patterns, initially developed for medical terms, needed to be adapted to the more general news domain and we present evaluation results. We describe our effort to automatically merge the numerous long-form variants referring to the same short-form, while keeping non-related long-forms separate. Finally, we provide extensive statistics on the frequency and the distribution of short-form/long-form pairs across languages.

研究の動機と目的

• ニューステキストにおける22か国語の省略語を '長表記（略称）' の形式でスケーラブルに認識するシステムの開発。
• 当初医療用語の目的で開発された省略語認識パターンを、より多様で非公式な一般ニュース記事ドメインに適応すること。
• 同じ略称を指す複数の長表記バリエーションを自動的に統合し、同一の標準的表現にまとめる一方で、非同等の長表記を保持すること。
• 多言語間のニュース分析を支援するため、言語ごとの省略語の頻度と分布に関する包括的な統計を提供すること。

提案手法

• 医療用語の目的で開発された既存の省略語認識パターンを、言語的および統計的分析を通じて一般ニュースドメインに適応。
• ルールベースおよびパターンマッチング技術を適用し、'長表記（略称）' のような一般的な省略語フォーマットを22か国語にわたって検出。
• 文字列類似度とクラスタリングヒューリスティクスを用いて、同じ略称を指す複数の長表記バリエーションを、各略称ごとに1つの標準的表現に統合。
• 言語固有のヒューリスティクスと語彙素解析を活用し、語順、大文字・小文字、句読点の違いによる変化を処理。
• 手動でアノテートされたテストセットを用いた評価を通じて、複数の言語における精度、再現率、F1スコアを測定。
• 頻度、分布、多言語的パターンを含む、大規模な省略語ペアに関する統計の収集と分析。

実験結果

リサーチクエスチョン

• RQ1 医療分野の省略語認識パターンを、22か国語の一般ニューステキストにおけるより多様で非公式な構造に効果的に適応する方法は何か？
• RQ2 多言語ニュースコーパスにおいて、長表記と略称のペアを正確に同定するための技術は何か？
• RQ3 同じ略称を指す複数の長表記バリエーションを、誤検出を避けて自動的に1つの標準的エンティティに統合する方法は何か？
• RQ4 言語ごとに、頻度と同時発生に関する省略語ペアの統計的分布はどのような特徴を示すか？

主な発見

• 適応された省略語認識システムは、22か国語すべてで高いパフォーマンスを示し、ニュースドメインにおける言語的ばらつきにも強く耐性を示した。
• 同義の長表記を統一表現に統合することで、長表記バリエーションの重複を著しく削減した。
• 言語ごとに省略語の頻度と分布に顕著な差が認められ、一部の言語では他の言語よりも省略語の使用率が顕著に高かった。
• システムは多言語間での適用性を示し、エンティティリンクおよび多言語ニュース分析を支援した。
• 広範な統計的分析から、少数の省略語がすべての省略語出現の大部分を占めていることが判明し、長尾分布の特徴を示した。