[論文レビュー] A New Aligned Simple German Corpus

Vanessa Toborek, Moritz Busch+3 more|arXiv (Cornell University)|Sep 2, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、7つのLeichte Sprache（簡単なドイツ語）を提供するウェブサイトと1つのEinfache Sprache（簡単なドイツ語）を提供するウェブサイトからテキストを自動的に対応付けて作成した、新しい文単位で対応付けられた単語語彙（単一言語）コーパスを紹介する。複数の対応付け手法—BERTベースの埋め込み表現とn-gram類似度—を用いることで、手動でアノテートされたサブセットで優れたF1スコア（最大0.48）を達成し、先行研究を上回った。データセットとコードはCC BY-SAおよびMITライセンスの下で公開されている。

ABSTRACT

"Leichte Sprache", the German counterpart to Simple English, is a regulated language aiming to facilitate complex written language that would otherwise stay inaccessible to different groups of people. We present a new sentence-aligned monolingual corpus for Simple German -- German. It contains multiple document-aligned sources which we have aligned using automatic sentence-alignment methods. We evaluate our alignments based on a manually labelled subset of aligned documents. The quality of our sentence alignments, as measured by F1-score, surpasses previous work. We publish the dataset under CC BY-SA and the accompanying code under MIT license.

研究の動機と目的

• ドイツ語のテキスト簡略化の分野において、高品質で文単位で対応付けられた並列語彙が不足しているという問題に対処すること。
• NLP研究のための、公開可能で再現可能な、Simple German（Leichte Sprache）と標準ドイツ語のテキストのデータセットを構築すること。
• この新しい語彙に対して、複数の自動文対応付け手法を評価および比較すること。
• ニューラル手法と語彙的手法を用いた、ドイツ語のテキスト簡略化分野における今後の研究のベンチマークを確立すること。
• 簡略化モデルの訓練および評価に使用可能なリソースを提供することで、包括的言語研究を支援すること。

提案手法

• Leichte Spracheを提供する7つのウェブサイトとEinfache Spracheを提供する1つのウェブサイトから記事を収集し、複数の文書単位で対応付けられたソースを獲得した。
• ボック・オブ・ワード、4-gram、コサイン類似度、最大マッチング、CWASA、二部マッチング、SBERT埋め込み表現を含む、自動文対応付け手法を適用した。
• MST-LISマッチングアルゴリズムを用い、類似度の閾値を1.5に設定することで、対応付けの品質を最適化した。
• 2つの手動評価を実施した：1つ目は、正解対応付け済みの文ペアに対して精度、再現率、F1スコアを評価。2つ目は、アルゴリズムが生成したマッチングに対して分類精度を評価。
• 対応付けの手動アノテーションとマッチングの信頼性ある評価を確保するため、GUIを用いた手動アノテーションツールを開発した。
• データセットは要請に応じて公開され、GitHub上でMITライセンスの下に完全なコードベースも公開された。

実験結果

リサーチクエスチョン

• RQ1 手動でアノテートされたSimple Germanと標準ドイツ語のテキストペアのサブセットにおいて、どの自動文対応付け手法が最も高いF1スコアを達成するか？
• RQ2 対応付けの品質は、異なるソースのウェブサイトによってどのように変動するか。また、その変動に影響を与える要因は何か？
• RQ3 SBERTのようなニューラル埋め込みベースの手法は、従来の語彙的手法よりも、簡略化されたドイツ語と標準ドイツ語のテキストの対応付けで優れた性能を示せるか？
• RQ4 人間のアノテーターによるマッチング分類タスクにおいて、アルゴリズムが生成したマッチングの正確性はどの程度か？
• RQ5 提案された対応付けパイプラインは、追加のウェブサイトのクローリングと対応付けにどの程度拡張可能か？

主な発見

• SBERTベースの対応付け手法は、正解評価において最高のF1スコア0.48を達成し、先行研究を著しく上回った。
• 閾値1.5を設定した最大マッチング戦略は、2番目の評価で分類精度0.56の最高を記録し、アルゴリズムが生成したマッチングの性能が優れていることを示した。
• 性能はソースによって大きくばらつきを示し、bebウェブサイトではF1スコア0.71（最高）、tazウェブサイトでは0.13（最低）を記録しており、ソース依存の品質差が顕著に現れた。
• 二部マッチング戦略は分類精度0.54を達成し、多様なテキストタイプにわたる強力な汎化性能を示した。
• 全ウェブサイトの平均F1スコアは0.32であり、今後の簡略化モデルのための堅牢なベンチマークを提供していることを示した。
• データセットとコードは公開されており、自動クローリングとパースを用いた新規ソースへの拡張が可能で、再現性が保証されている。