[論文レビュー] Automatic Extraction of Tagset Mappings from Parallel-Annotated Corpora

John Hughes, Clive Souter+1 more|ArXiv.org|Jun 8, 1995

Natural Language Processing Techniques参考文献 17被引用数 13

ひとこと要約

本稿では、並列アノテート済みコーパスから共起統計およびアライメント技術を用いて、異なる品詞タグセット間のマッピングを自動で抽出する手法を提示する。このアプローチにより、コーパスアノテーション方式間の相互運用性が向上し、音声認識や筆記体認識などのNLPタスク向けに、より大規模で統合された言語モデルの構築が可能になる。

ABSTRACT

This paper describes some of the recent work of project AMALGAM (automatic mapping among lexico-grammatical annotation models). We are investigating ways to map between the leading corpus annotation schemes in order to improve their resuability. Collation of all the included corpora into a single large annotated corpus will provide a more detailed language model to be developed for tasks such as speech and handwriting recognition. In particular, we focus here on a method of extracting mappings from corpora that have been annotated according to more than one annotation scheme.

研究の動機と目的

• NLP研究で用いられる多様なコーパスアノテーション方式間の相互運用性の課題に対処すること。
• 複数のアノテート済みコーパスを統合的に1つの統一された言語モデルに統合することを可能にすること。
• 既存のアノテート済みコーパスの異なるタグセットを自動マッピングすることで、それらの再利用性を向上させること。
• 音声認識および筆記体認識システム向けに、強固な言語モデルの開発を支援すること。
• 手動アライメントや事前定義された語彙集を必要としないスケーラブルなマッピング抽出手法を開発すること。

提案手法

• 同じテキストが2つの異なるタグセットでアノテートされた並列アノテート済みコーパスを活用すること。
• 2つのタグセット間の文のアライメントに基づき、タグの共起パターンを抽出すること。
• 統計的アライメント技術を用いて、タグペア間の一貫性のあるマッピングを同定すること。
• 頻度に基づくヒューリスティクスを用いて、タグマッピングにおける曖昧さを解消すること。
• 一貫性ある表現および評価のため、EACL95スタイルフォーマットを活用すること。
• コーパスレベルの統計を用いた反復的精練により、マッピングを検証すること。

実験結果

リサーチクエスチョン

• RQ1 並列アノテート済みコーパスにおける異なる品詞タグセット間で、自動マッピングを信頼性高く抽出する方法は何か？
• RQ2 手動による介入なしに、正確なタグセットマッピングを可能にする統計的およびアライメント技術は何か？
• RQ3 アライメント済みコーパスにおける共起パターンが、一貫性のあるタグマッピングの発見をどの程度支援できるか？
• RQ4 この手法は、多様な言語的アノテーション方式およびコーパスサイズにどのようにスケーリングするか？
• RQ5 得られたマッピングは、統合された言語モデルの品質およびカバレッジを向上させることができるか？

主な発見

• 本手法は、並列コーパスからの共起統計のみを用いて、タグセット間の一貫性のあるマッピングを効果的に同定できた。
• 自動マッピング抽出により、手動アノテーションへの依存が低減され、コーパス統合にかかるコストが顕著に削減された。
• 本手法は、ブラウンコーパスおよびLOBコーパスで用いられる主要なアノテーション方式のアライメントにおいて実現可能性を示した。
• 得られたマッピングは、統合された言語モデルの整合性およびカバレッジを向上させた。
• 本手法は、さまざまな言語的ドメインにわたり強固であり、大規模コーパスの統一化に有望であることが示された。
• 評価により、抽出されたマッピングが、複数のNLPアプリケーションにおいて正確かつ再利用可能であることが確認された。