[論文レビュー] German Parliamentary Corpus (GerParCor)

Giuseppe Abrami, Mevlüt Bagci+2 more|arXiv (Cornell University)|Apr 21, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

本稿では、オーストリア、ドイツ、リヒテンシュタイン、スイスのドイツ語議会全体会議議事録を300年間にわたりカバーする大規模かつジャンル特化型のコーパス、GerParCorを紹介する。OCR（Tesseract）を用いてフラクチャールおよびスキャン済みテキストを処理し、spaCy3を用いてNLP前処理（トークン化、品詞タグ付け、固有表現抽出、依存解析）を実施。時間分解能のある政治的コミュニケーションおよびNLP研究を可能にするために、完全にアノテートされたデータをUIMA XMI形式で公開する。

ABSTRACT

Parliamentary debates represent a large and partly unexploited treasure trove of publicly accessible texts. In the German-speaking area, there is a certain deficit of uniformly accessible and annotated corpora covering all German-speaking parliaments at the national and federal level. To address this gap, we introduce the German Parliament Corpus (GerParCor). GerParCor is a genre-specific corpus of (predominantly historical) German-language parliamentary protocols from three centuries and four countries, including state and federal level data. In addition, GerParCor contains conversions of scanned protocols and, in particular, of protocols in Fraktur converted via an OCR process based on Tesseract. All protocols were preprocessed by means of the NLP pipeline of spaCy3 and automatically annotated with metadata regarding their session date. GerParCor is made available in the XMI format of the UIMA project. In this way, GerParCor can be used as a large corpus of historical texts in the field of political communication for various tasks in NLP.

研究の動機と目的

• ドイツ語圏の国や連邦レベルで、一貫性のあるアクセスが可能で、アノテート済みの議会コーパスが不足している現状に対処すること。
• 複数の国と時代をカバーする、包括的かつ歴史的に豊かなドイツ語議会全体会議議事録のコーパスを構築すること。
• 標準化された機械可読で、時間アノテーションが施された議会テキストを通じて、大規模なNLPおよび政治的コミュニケーション研究を可能にすること。
• 歴史的に重要な、しばしばスキャン済みまたはフラクチャール形式の議会議事録を、構造的かつアノテート済みのデジタル形式に変換・処理すること。
• 再現可能性および拡張性を考慮し、GitHubを通じてコーパスおよび処理パイプラインを公開すること。

提案手法

• ドイツ、オーストリア、スイス、リヒテンシュタインの連邦および州議会から、個別のAPIまたはWebスクレイピングを用いて全体会議議事録を取得（可能な場合）。
• スキャン済みまたはフラクチャール形式の議事録を機械可読テキストに変換するために、Tesseractを用いたOCR処理を実施。
• すべてのテキストに対して、spaCy3パイプラインを用いてトークン化、文境界検出、品詞タグ付け、語形還元、固有表現抽出、語彙素性分析、依存解析を実行。
• 会議日時、場所、タイトル、文書IDといったメタデータを、各文書ごとにUIMA XMI形式に統合・抽出。
• NLPツールやデータベースとの統合を支援するため、UIMA XMI形式を用いてコーパスを格納および構造化。
• 完全なコーパスおよび処理ソフトウェアをGitHubに公開し、一般公開および拡張性を確保。

実験結果

リサーチクエスチョン

• RQ1 異種の、しばしばスキャン済みまたはレガシーフォーマットの資料から、体系的かつ大規模で多言語的かつ歴史的に包括的な議会コーパスをどのように構築できるか？
• RQ2 フラクチャールおよび低品質スキャン画像に適用されたOCRおよびNLPパイプラインが、歴史的ドイツ語議会テキストに対してどの程度効果的に機能するか？
• RQ3 統一的で標準化され、時間アノテーションが施されたドイツ語議会討論のコーパスは、国や時代を越えた比較的政治的コミュニケーションおよびNLP研究を可能にするか？
• RQ4 複数の議会、言語、歴史的時代をカバーする一貫性のあるアノテーションを持つコーパスを構築するにあたり、技術的および手法論的課題は何か？
• RQ5 このようなコーパスは、どのようにして異なるNLPツールや研究プラットフォーム間で相互運用可能かつ再利用可能なものとするか？

主な発見

• GerParCorは、4か国のドイツ語議会全体会議議事録を300年間にわたりカバーする大規模で多言語的かつ歴史的に豊かなコーパスである。
• コーパスには、デジタル化済みおよびOCR処理済みのテキストが含まれており、その大部分はスキャン済みのフラクチャール文書から得られ、TesseractベースのOCRによって正常に変換された。
• すべての文書は、spaCy3を用いてトークン化、品詞タグ付け、語形還元、固有表現抽出、語彙素性、依存解析を含む包括的な言語的アノテーションが施されている。
• 会議日時、文書タイトル、場所といったメタデータが自動的に抽出され、XMI形式に埋め込まれており、時間的および文脈的分析を可能にしている。
• コーパスは標準化されたUIMA XMI形式で提供されており、主要なNLPおよびテキスト解析フレームワークとの相互運用性を保証している。
• 完全なコーパスおよび処理パイプラインはGitHubにホスティングされており、オープンアクセス、再現性、および今後の追加議会文書への拡張が可能である。