[論文レビュー] Automatic Creation of Text Corpora for Low-Resource Languages from the Internet: The Case of Swiss German

Lucy Linder, Michael Jungo+3 more|arXiv (Cornell University)|Nov 30, 2019

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、多様なオンラインソース（多言語ページや非公式なコンテンツを含む）からテキストを抽出するカスタマイズされたウェブクローラーを用いて作成された、公開利用可能な書かれたシュタイヒス語の最大規模のコーパス「SwissCrawl」を提示する。このコーパスは480,000文以上を含み、既存データと組み合わせることで言語モデルの性能が著しく向上し、ライプツィヒテストセットにおけるパープレキシティを36%低減する。

ABSTRACT

This paper presents SwissCrawl, the largest Swiss German text corpus to date. Composed of more than half a million sentences, it was generated using a customized web scraping tool that could be applied to other low-resource languages as well. The approach demonstrates how freely available web pages can be used to construct comprehensive text corpora, which are of fundamental importance for natural language processing. In an experimental evaluation, we show that using the new corpus leads to significant improvements for the task of language modeling. To capture new content, our approach will run continuously to keep increasing the corpus over time.

研究の動機と目的

• シュタイヒス語のような低リソース言語向けの自然言語処理リソースの不足に取り組む。
• 公式のTLDがなく、表記法が一貫していないという課題にもかかわらず、スケーラブルで自動化された方法でインターネット上から書かれたシュタイヒス語を収集する手法を開発する。
• ソーシャルメディアやフォーラムなどの非公式な文脈における現実世界の使用状況を反映した包括的で最新のコーパスを構築する。
• コーパスの有用性、特に言語モデリングにおける貢献を実証する。
• 反復的で人間を含むフィードバックループを用いたウェブクローリングにより、コーパスの継続的拡張を可能にする。

提案手法

• カスタマイズされたウェブクローラーは、トリグラム、頻度重み付き語の組み合わせ、および人間が手作業で選定した入力を含む、複数戦略のシーダーを用いて多様な検索クエリを生成する。
• システムは幅優先探索戦略を採用し、シードURLから出発して拡張し、HTMLパースとヒューリスティクスを用いて関連するコンテンツを抽出する。
• 99%の信頼度閾値を設定した言語識別モデルを用い、シュタイヒス語である可能性の高い文のみを保持することで、ハイデューツク語や他の言語からのノイズを低減する。
• 非公式な標点符号（ASCII絵文字や方言固有の表記パターンを含む）に敏感なヒューリスティクスを用いて、文を分割する。
• 完全一致による文字列照合に基づき、重複する文を削除するが、変換記号のバリエーションや切り捨て表現に対しても特別な処理を施す。
• 定期的なインターバルでパイプラインを再実行することで、進化するオンラインコンテンツを捉えるべく、コーパスを継続的に拡張する。

実験結果

リサーチクエスチョン

• RQ1 公式のTLDがなく、表記法が一貫していないという課題があるにもかかわらず、スケーラブルで自動化されたウェブクローリングパイプラインが、インターネット上から書かれたシュタイヒス語を効果的に収集できるか。
• RQ2 非公式なオンラインソースから収集されたコーパスの質と多様性は、より手入れの行き届いた既存のコーパスと比較して、言語的リアリズムやNLPタスクにおける実用性においてどう異なるか。
• RQ3 大規模で非公式なコーパスを組み込むことで、従来の小規模またはより形式的なコーパスと比較して、シュタイヒス語の言語モデリング性能がどの程度向上するか。
• RQ4 言語的知識の進化に伴い、反復的で人間を含むフィードバックループを用いたシステム設計が、時間経過とともにコーパス収集パイプラインを効果的に改善できるか。
• RQ5 特に多言語環境やユーザー生成コンテンツの文脈において、非構造化されたウェブコンテンツからシュタイヒス語のテキストを抽出・分割する際の主な課題は何か。

主な発見

• SwissCrawlコーパスには483,526の固有文が含まれており、現在までに知られている最大規模の書かれたシュタイヒス語コーパスである。
• ライプツィヒテストセットにおいて、SwissCrawlとライプツィヒデータの両方を用いて学習した場合、パープレキシティが36%低減され、言語モデルの性能が著しく向上する。
• SwissCrawlにのみ学習させたモデルは、自身のテストセットで45.9のパープレキシティを達成し、ライプツィヒデータのみで学習したモデルが同じデータで示したパープレキシティを上回る性能を示す。
• ライプツィヒデータのみで学習したモデルは一般化性能が著しく劣り、SwissCrawlテストセットで評価するとパープレキシティがほぼ2倍（47.6から92.6に）に上昇する。
• コーパスはスラング、省略形構造、非標準的な標点記号を含む、本物の非公式な使用状況を反映している。
• システムは大部分のシュタイヒス語以外のコンテンツを効果的に同定・フィルタリングしているが、誤検出は主にスペルミスを含むハイデューツク語や地方方言に限定される。