[論文レビュー] The Danish Gigaword Project

Leon Derczynski, Manuel R. Ciosici+13 more|arXiv (Cornell University)|May 7, 2020

Natural Language Processing Techniques参考文献 27被引用数 6

ひとこと要約

本稿では、複数の分野、時代、方言、社会経済的背景をカバーする、10億語にのぼる多様なデーン語テキストの自由利用可能な大規模コーパス「デーンギガワードコーパス（Dagw）」を紹介する。このコーパスは、新聞記事、放送メディア、ウェブコンテンツ、小説、地方方言（ボーンホルム語を含む）からのデータを手作業によるキュレーションと言語的フィルタリングを用いて収集し、品質と代表性を確保することで、強固で汎用的なデーン語NLPモデルの訓練を可能にする。

ABSTRACT

Danish language technology has been hindered by a lack of broad-coverage corpora at the scale modern NLP prefers. This paper describes the Danish Gigaword Corpus, the result of a focused effort to provide a diverse and freely-available one billion word corpus of Danish text. The Danish Gigaword corpus covers a wide array of time periods, domains, speakers' socio-economic status, and Danish dialects.

研究の動機と目的

• デーン語NLP向けの大規模で代表的かつ自由利用可能なコーパスの不足を解消し、高性能な言語モデルの開発を阻害する要因を除去すること。
• 地方方言（ボーンホルム語など）や多様な社会経済的・人口統計的背景を反映する、汎用的かつ広範囲をカバーするコーパスを構築すること。
• Common Crawlのような既存データセットの限界、たとえば言語識別エラー、非デーン語コンテンツ、現代のウェブ言語の過剰代表といった問題を克服すること。
• 特にデーン語の希少な音声「å」や「træls」のような希少語彙といった、リソースが乏しい特徴に対しても、十分なサイズと言語的品質を備えたコーパスを提供することで、現代のディープラーニングモデルの訓練を支援すること。
• ライセンス制約なしに研究者や開発者がデーン語NLPツールの構築・改善が可能になるようにし、デーン語NLP分野における公平なアクセスとイノベーションを促進すること。

提案手法

• 新聞記事（Berlingske Tidende）、放送メディア（DR、TV2）、ウェブコンテンツ（Politiken、Berlingske Tidende）、およびデジタル化された文学的・方言的テキストなど、多様なテキストソースを対象に、手作業によるキュレーションを実施した。
• 非デーン語コンテンツ、特にノルウェー語のBokmålとの混同を防ぐために、言語識別とフィルタリングを実施し、言語的およびメタデータベースの検証を用いた。
• ボーンホルム語語彙集プロジェクトのような特別なサブコーパスを含み、1930年代から1940年代にかけての非標準的ボーンホルム語で書かれた約40万語の方言文学を保存している。
• テキストはUTF-8プレーンテキスト形式で保存され、1ドキュメントあたり1ファイルとして扱い、標準化された命名規則（例：'tv2r_01672'）を採用した。
• 各ドキュメントのメタデータは、doc_id、date_published、uri、year_published、date_collected、date_built、location_name、location_latlongなどのフィールドを含むJSONLファイルに保存した。
• 各セクションには、利用可能性を高めるために、許可が緩いライセンス（CC0、CC-BY、またはCC-NC）を用いたLICENSEファイルを含め、著作権制限を回避した。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、現代のNLPおよびディープラーニングモデルを支援する大規模で高品質かつ代表的なデーン語コーパスを構築できるか？
• RQ2 ボーンホルム語のような地方方言の含めることで、デーン語NLPシステムの頑健性と一般化性能はどの程度向上するか？
• RQ3 手作業によるキュレーションが、Common Crawlのような自動収集データセットに比べ、デーン語において言語的品質と代表性の面で優れていると期待できるか？
• RQ4 近縁言語（デーン語とノルウェー語Bokmål）間の言語識別エラーをコーパス構築段階でどの程度低減できるか？
• RQ5 分野、時代、発話者のデモグラフィック要因の多様性が、デーン語における下流NLPタスクのパフォーマンスにどのような影響を与えるか？

主な発見

• デーンギガワードコーパス（Dagw）は、約10億語のデーン語テキストを含み、これはデーン語NLP向けに、初めての大規模で自由利用可能かつ汎用的なコーパスである。
• コーパスは、新聞記事、放送メディア、ウェブコンテンツ、小説、地方方言（ボーンホルム語を含む）など、広範な分野をカバーしており、言語的多様性が著しく向上している。
• ボーンホルム語サブコーパスは約40万語を含み、これまでにない規模のデジタル化されたボーンホルム語方言テキストの収集を実現し、希少で絶滅危惧言語の形態を保存している。
• 手作業によるキュレーションと言語的フィルタリングを用いることで、Common Crawlのような自動収集データセットに見られる非デーン語コンテンツや言語識別エラーを低減し、データ品質と代表性が向上した。
• コーパスは許可が緩いライセンス（CC0、CC-BY、またはCC-NC）に基づいて配布されており、研究および産業分野での無制限な利用が可能であるため、デーン語NLP開発の障壁が低下した。
• データ拡張技術を用いて統計的および語彙的特性を一定に保ったまま、さまざまなNLPタスクにおけるモデルの訓練および評価に有用なコーパスを維持している。