[論文レビュー] Klexikon: A German Dataset for Joint Summarization and Simplification

Dennis Aumiller, Michael Gertz|arXiv (Cornell University)|Jan 18, 2022

Text Readability and Simplification被引用数 8

ひとこと要約

本論文では、ドイツ語のウィキペディアと子供向け百科事典『Klexikon』の間で、ほぼ2,900組のドキュメント対応ペアを含む新しいドイツ語データセット、Klexikonを紹介する。このデータセットは、長文のテキストを同時に圧縮・簡素化するモデルのエンドツーエンド学習を可能にするもので、定量的証拠により、このデータセットは要約と簡素化の両タスクに効果的に対応できることを示している。

ABSTRACT

Traditionally, Text Simplification is treated as a monolingual translation task where sentences between source texts and their simplified counterparts are aligned for training. However, especially for longer input documents, summarizing the text (or dropping less relevant content altogether) plays an important role in the simplification process, which is currently not reflected in existing datasets. Simultaneously, resources for non-English languages are scarce in general and prohibitive for training new solutions. To tackle this problem, we pose core requirements for a system that can jointly summarize and simplify long source documents. We further describe the creation of a new dataset for joint Text Simplification and Summarization based on German Wikipedia and the German children's lexicon "Klexikon", consisting of almost 2900 documents. We release a document-aligned version that particularly highlights the summarization aspect, and provide statistical evidence that this resource is well suited to simplification as well. Code and data are available on Github: https://github.com/dennlinger/klexikon

研究の動機と目的

• ドイツ語における要約と簡素化を統合的に処理する大規模でドキュメント対応のデータセットが不足しているという問題に取り組むこと。
• 長文ドキュメントにおいて要約と簡素化が共存する現実の簡素化プロセスを反映するリソースを提供すること。
• 長文テキストを同時に簡素化・要約するエンドツーエンドモデルの学習と評価のためのベンチマークを提供すること。
• 非英語で高品質な対応ドキュメントを備えたデータセットを提供することで、低リソースNLP分野の研究を支援すること。
• ROUGEや読解性スコアを含む複数のメトリクスを用いて、要約と簡素化の両方の品質を評価できるようにすること。

提案手法

• ドイツ語のウィキペディア記事と子供向け百科事典『Klexikon』の対応するエントリとの間で、部分的に自動化されたアライメント手法を用いてデータセットを構築した。
• 長文における要約が簡素化の根幹をなすことを反映するため、ドキュメントレベルのアライメントを優先した。
• 簡素化の質を検証するために、統計的分析と読解性指標（Fleschスコア、文の長さ、語の長さ、レムマカバレッジ）を用いた。
• 要約性能のベンチマークを確立するために、ROUGEスコアを用いて抽出型ベースライン（例：Lead-3、Luhn、LexRank）を評価した。
• 簡素化の質は、Flesch読解性スコア、平均文の長さ、平均語の長さ、上位1,000語のレムマカバレッジを用いて評価した。
• ドキュメント対応バージョン（要約が強調されたもの）とともにデータセットを公開し、コードとデータはGitHubで公開されている。

実験結果

リサーチクエスチョン

• RQ1 Klexikonデータセットは、ドイツ語の長文テキストを同時に要約・簡素化するモデルの学習にどの程度有効であるか。
• RQ2 元のテキストから簡素化テキストに至る文数の大幅な削減を考慮すると、このデータセットは要約にどの程度対応しているか。
• RQ3 読解性および語彙的複雑さの指標に基づいて、Klexikonデータの簡素化品質は他のコーパスと比べてどの程度か。
• RQ4 抽出型要約手法は、このデータセットで高い性能を発揮できるか。これは、既存の要約ベンチマークと比較して、このデータセットの難易度がどうであるかを示唆するか。
• RQ5 ROUGEのような標準的な評価メトリクスは、語彙的簡素化をどの程度正確に捉えているか。これはモデル評価にどのような影響を及えるか。

主な発見

• Klexikonデータセットには2,898組のドキュメント対応ペアが含まれており、元の記事の平均文数は242文、簡素化版の平均文数は32.5文であり、顕著な要約が行われていることが示された。
• Klexikonの簡素化テキストは平均Flesch読解性スコア66.7を達成しており、ウィキペディアの40.1よりも顕著に高く、読解性が向上していることが確認された。
• Klexikonの平均文の長さは13.5トークンであり、ウィキペディアの22.7に比べて短く、平均語の長さは6.9文字（ウィキペディアは8.7文字）であり、語彙的簡素化が行われていることが示された。
• Klexikonの上位1,000語のレムマカバレッジは82.3%であり、ウィキペディアの68.8%よりも高い。これは、頻出語彙のより高い使用率を示している。
• Lead-3抽出型ベースラインはROUGE-1で24.87のF1スコアを達成し、全記事ベースラインを顕著に上回ったが、ROUGE-2のオラクルスコア41.85は、抽象的モデルの強い潜在的性能を示唆している。
• ドイツ語の語彙的・構文的複雑さを考慮すると、要約と簡素化の両方の要件を同時に満たすという点で、既存の要約データセットよりも難しい挑戦を提供している。