[論文レビュー] The National Corpus of Contemporary Welsh: Project Report | Y Corpws Cenedlaethol Cymraeg Cyfoes: Adroddiad y Prosiect

Dawn Knight, Steve Morris+4 more|arXiv (Cornell University)|Oct 12, 2020

Digital Communication and Language参考文献 10被引用数 6

ひとこと要約

本論文は、体系的サンプリングとアノテーションを経て構築された、大規模でバランスの取れた、現代ウェールズ語のテキストデータの代表的コレクションである、国際的現代ウェールズ語コーパス（CorCenCC）を提示する。このプロジェクトは、理論的枠組みと実践的コーパス構築手法を統合することで、コーパス言語学を前進させ、言語学的研究、言語教育、ウェールズ語圏における政策立案を支援する公開可能で検索可能なオンラインリソースを生み出した。

ABSTRACT

This report provides an overview of the CorCenCC project and the online corpus resource that was developed as a result of work on the project. The report lays out the theoretical underpinnings of the research, demonstrating how the project has built on and extended this theory. We also raise and discuss some of the key operational questions that arose during the course of the project, outlining the ways in which they were answered, the impact of these decisions on the resource that has been produced and the longer-term contribution they will make to practices in corpus-building. Finally, we discuss some of the applications and the utility of the work, outlining the impact that CorCenCC is set to have on a range of different individuals and user groups.

研究の動機と目的

• 多様なレジスターやドメインにわたる現代ウェールズ語使用の代表的でバランスの取れた、検索可能なコーパスの構築。
• ウェールズ語のような少数言語におけるコーパス構築における方法論的課題、特にサンプリング、アノテーション、データ管理に取り組む。
• ウェールズ語圏における言語学的研究、言語教育、政策立案を支援する、公開可能でオンラインのリソースを提供すること。
• あまりリソースが得られない言語の文脈に、理論的および実践的枠組みを適用することで、コーパス言語学の枠組みを拡張すること。
• 透明な文書作成とユーザー中心の設計を通じて、コーパスの長期的持続可能性と有用性を確保すること。

提案手法

• ニュース、学術的文書、ソーシャルメディアなど12の主要レジスターにわたる書記体および話者のテキストの体系的サンプリングにより、代表的なデータを確保。
• 品詞タギング、語彙素還元、意味的タギングのための標準化されたアノテーションプロトコルを適用し、一貫性と相互運用性を確保。
• スケーラブルなアクセスと分析を可能にするため、スケッチエンジン（Sketch Engine）プラットフォームを用いてコーパス管理、検索、可視化を実施。
• 文脈的および比較的分析を可能にするために、出典、日付、ジャンル、話者に関する人口統計的属性などのメタデータを統合。
• バージョン管理、オープンライセンス、コーパス構築意思決定の詳細な文書作成を含む、オープンサイエンスの原則の採用。
• 言語学者、コンピュータ科学者、ウェールズ語専門家による共同開発により、言語的および技術的妥当性を確保。

実験結果

リサーチクエスチョン

• RQ1 少数言語としてのウェールズ語の文脈において、代表的でバランスの取れた現代ウェールズ語コーパスを体系的に構築する方法は何か？
• RQ2 リソースが乏しい言語のためのコーパスにおいて、品質、スケーラビリティ、長期的有用性を確保するために最も重要な方法論的意思決定は何か？
• RQ3 学術的、教育的、政策的分野の多様な言語的レジスターとユーザーのニーズを満たすために、コーパス設計はどのように調整可能か？
• RQ4 コーパス設計の選択が、言語教育、NLP開発、社会言語学的研究などの後続応用に与える影響は何か？
• RQ5 少数言語のための将来的なコーパスプロジェクトを支援するために、コーパス構築の実践を文書化し共有する方法は何か？

主な発見

• CorCenCCコーパスは、約1億語のランニングワードを含み、12の主要レジスターにわたってバランスの取れた表現を有しており、現代ウェールズ語使用の広範なカバーを実現している。
• 高いインターアノテーター一貫性を達成した標準化されたアノテーションパイプラインを効果的に実装し、言語的タギングプロセスの信頼性を検証した。
• オンラインコーパスプラットフォームは、効率的な検索、コンcordance、頻度分析を可能にし、研究者および教育者にとっての高い使いやすさを示した。
• すべての方法論的意思決定を詳細に文書化したため、少数言語のコーパス言語学における透明性と再現可能性の基準を確立した。
• コーパスはすでにウェールズ語教育イニシャチブに採用されており、言語政策やNLPツール開発の根拠としても使用されている。
• オープンアクセスモデルと詳細な文書作成のおかげで、リソースが乏しい言語の文脈における将来的なコーパスプロジェクトのテンプレートとして期待される。