[論文レビュー] The GINCO Training Dataset for Web Genre Identification of Documents Out in the Wild

Taja Kuzman, Peter Rupnik+1 more|arXiv (Cornell University)|Jan 11, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、1,125ドキュメント（650k語）からなる手動アノテーション付きスロベニア語WebコーパスGInCO 1.0を紹介する。このコーパスは、ラベルの明確さと高いアノテーター間整合性を重視した新しいスキーマを特徴とし、自動ジャンル識別に用いられる。実験の結果、トランスフォーマー基盤のモデル（例：SloBERTa、XLM-RoBERTa）はマクロF1スコア約0.58を達成し、非トランスフォーマー型モデル（約0.22）を著しく上回る。一方、ジャンルラベルの数を21から12に削減することで、マクロF1は0.668に向上した。

ABSTRACT

This paper presents a new training dataset for automatic genre identification GINCO, which is based on 1,125 crawled Slovenian web documents that consist of 650 thousand words. Each document was manually annotated for genre with a new annotation schema that builds upon existing schemata, having primarily clarity of labels and inter-annotator agreement in mind. The dataset consists of various challenges related to web-based data, such as machine translated content, encoding errors, multiple contents presented in one document etc., enabling evaluation of classifiers in realistic conditions. The initial machine learning experiments on the dataset show that (1) pre-Transformer models are drastically less able to model the phenomena, with macro F1 metrics ranging around 0.22, while Transformer-based models achieve scores of around 0.58, and (2) multilingual Transformer models work as well on the task as the monolingual models that were previously proven to be superior to multilingual models on standard NLP tasks.

研究の動機と目的

• スロベニア語のような低リソース言語向けに、ウェブドキュメントにおける自動ジャンル識別用の現実的で高品質な学習データセットを開発すること。
• 機械翻訳、エンコードエラー、ハイブリッドジャンルといったウェブベースのデータの課題に対処するため、選別された手動アノテーション付きコーパスを提供すること。
• ラベルの明確さと高いアノテーター間整合性（Krippendorff’s alpha = 0.71）に焦点を当てたスキーマ設計により、ジャンルアノテーションの信頼性を向上させること。
• 現実的でノイズの多いウェブ環境下でのニューラルアーキテクチャのジャンル分類性能を評価すること。
• 今後の多言語的ジャンル識別を可能にするために、データセットをクロアチア語および英語へ拡張すること。

提案手法

• 目的、形式、および語彙文法的特徴を統合した新しいジャンル分類スキーマを用いて、1,125件のスロベニア語ウェブドキュメントをアノテートし、ラベルの明確さとアノテーター間整合性を向上させた。
• 2つの既存のスロベニア語ウェブコーパスからサンプリングし、機械翻訳コンテンツ、エンコードエラー、複数ジャンルのドキュメントなどの現実のノイズを保持したまま、GINCO 1.0データセットを構築した。
• 2段階のデータフィルタリングを実施：類似した繰り返しパラグラフを除外し、各ドキュメントに対して唯一の優勢なジャンルラベルを保持することで、モデルの一般化性能を向上させた。
• 最終データセット上で、CNNベース、モノリンガル（SloBERTa）、マルチリンガル（XLM-RoBERTa）のトランスフォーマー型モデルを含む複数のモデルを訓練・評価した。
• ラベルセットのサイズを変化させるアブレーションスタディを実施し、21ラベルを12ラベルに統合することで、低リソースクラスの性能向上に注力した。
• 性能差の有意性を検証するために、Mann-Whitney U検定を用いた統計的検定を実施した。

実験結果

リサーチクエスチョン

• RQ1 新しいジャンル分類スキーマは、ウェブドキュメントにおけるラベルの明確さを維持しつつ、高いアノテーター間整合性を達成できるか？
• RQ2 異なるニューラルアーキテクチャは、現実的でノイズの多いウェブコーパスにおけるジャンル分類でどの程度の性能を示すか？
• RQ3 ジャンルラベルの数を減らすことで、分類性能、特に低リソースカテゴリにおいて向上するか？
• RQ4 類似した繰り返しパラグラフや複数ジャンルのドキュメントは、モデル性能にどの程度悪影響を及えるか？
• RQ5 マルチリンガルモデルは、スロベニア語のような低リソース言語において、モノリンガルモデルと同等の性能を示せるか？

主な発見

• トランスフォーマー前型モデルはマクロF1スコア約0.22を示し、複雑なウェブジャンルを扱う能力に限界があるため、GINCOデータセットでは性能が著しく低いことが示された。
• モノリンガルのSloBERTaとマルチリンガルのXLM-RoBERTaを含むトランスフォーマー基盤のモデルは、マクロF1スコア約0.58を達成し、このタスクにおいて文脈を捉えた表現の必要性を示した。
• ジャンルラベル数を21から12に削減することで、マクロF1は0.575から0.668に顕著に向上した（p < 0.001）。特に「法的・規制」や「その他」のような低頻度クラスに大きな利益が得られた。
• ラベル削減後の混同行列では、特に「プロモーション」と「その他」カテゴリで、クラス間の分離が明確になり、誤分類が減少した。
• マイクロF1は21ラベル時（0.629）から12ラベル時（0.696）に向上し、Mann-Whitney U検定により有意性が確認された（p < 0.001）。
• 本研究では、元のデータの10.9％が曖昧さや複雑さのためジャンル分類に不適切であると特定し、マルチジャンルドキュメントのより良い前処理や自動分割の必要性を浮き彫りにした。