[論文レビュー] Finnish Paraphrase Corpus

Jenna Kanerva, Filip Ginter+8 more|arXiv (Cornell University)|Mar 24, 2021

Natural Language Processing Techniques参考文献 13被引用数 5

ひとこと要約

本稿では、代替字幕とニュース見出しに由来する、53,572組のパラフレーズを含む、最初の完全に手作業でアノテートされたフィンランド語パラフレーズコーパスを紹介する。文脈的に妥当なパラフレーズについて、98%の手作業分類精度を達成している。著者らは、自動手法よりも長く、語彙的に多様性のあるパラフレーズを生成する手作業による候補選択手法を開発した。この手法により、フィンランド語向けの意味に配慮したNLPモデルの高品質な訓練と評価が可能になる。

ABSTRACT

In this paper, we introduce the first fully manually annotated paraphrase corpus for Finnish containing 53,572 paraphrase pairs harvested from alternative subtitles and news headings. Out of all paraphrase pairs in our corpus 98% are manually classified to be paraphrases at least in their given context, if not in all contexts. Additionally, we establish a manual candidate selection method and demonstrate its feasibility in high quality paraphrase selection in terms of both cost and quality.

研究の動機と目的

• 意味に配慮したNLPモデルのファインチューニングおよび評価を支援するため、大規模かつ完全に手作業でアノテートされたフィンランド語パラフレーズコーパスの作成。
• 既存の自動パラフレーズコーパスが短い、語彙的に類似した例に偏っている問題に対処するため、手作業による候補選択手法の開発。
• フィンランド語のような低リソース言語向けに、高品質で手作業で検証されたパラフレーズデータの可用性を向上させること。
• 並列単語言語データソース（例：字幕やニュース見出し）から手作業によるパラフレーズ候補選択の実行可能性、コスト、品質を評価すること。
• 今後のフィンランド語パラフレーズ検出および生成に関する研究のためのベースラインモデルとツールの提供。

提案手法

• 文脈的に同等だが語彙的に多様な表現を重視し、代替字幕およびニュース見出しからパラフレーズ候補を手作業で収集。
• 自動手法で一般的に見られるバイアスを回避するための手作業による候補選択手順を開発・適用し、より長い、重複度の低いパラフレーズペアに重点を置く。
• 基本ラベル（パラフレーズ、非パラフレーズなど）と包含フラグ（i, s, 4<, 4）を含むマルチラベルアノテーションスキームの作成により、微細な意味的関係を捉える。
• コーパスでファインチューニングされたBERTベースのモデルを用いてマルチラベル分類を実施し、基本ラベルとフラグのための別々の予測ヘッドを設ける。
• 各クラスのFスコア、加重Fスコア、正答率を用いたモデル性能の評価を行い、人間のアノテータの性能と多数派ベースラインとを比較。
• GitHubを通じてCC-BY-SAライセンスでコーパスを公開し、文脈的に妥当なパラフレーズ45,663組と、一般化能を高めるために再表現された7,909組のペアを含む。

実験結果

リサーチクエスチョン

• RQ1 完全に手作業による候補選択プロセスは、自動手法よりも品質が高く、より長く、語彙的に多様性のあるパラフレーズペアを生成できるか？
• RQ2 フィンランド語という低リソース言語向けに、大規模なパラフレーズコーパスを手作業でアノテートすることは、コストと実行可能性の面で可能か？
• RQ3 ファインチューニングされたBERTモデルの性能は、人間のアノテータと多数派ベースラインと比べてどの程度か？
• RQ4 包含フラグ（i, s, 4<, 4）の導入により、アノテーションスキームの表現力と実用性はどの程度向上するか？
• RQ5 提案された手作業による選択手法は、語彙的パラフレーズの可能性が豊富な他の言語やドメインへ一般化可能か？

主な発見

• フィンランド語パラフレーズコーパスには、53,572組の手作業で分類されたパラフレーズペアが含まれており、そのうち98%が与えられた文脈においてパラフレーズとして確認された。
• 手作業による候補選択手法は、自動アプローチと比較して、より長く、語彙的重複度の低いパラフレーズペアを効果的に生成した。
• このコーパスは、あらゆる言語において、完全に手作業でアノテートされた最大のパラフレーズデータセットである。文脈的に妥当なパラフレーズは45,663組、一般化能を高めるために再表現されたペアは7,909組を含む。
• 最良のBERTベースのモデルは、加重Fスコア52.2%、正答率54.0%を達成し、多数派ベースライン（34.3%）と人間アノテータの性能（68.7%）の間の中間程度の性能を示した。
• 各クラスのFスコアは、クラス2で38.7%（最低）からクラス4で71.7%（最高）まで変動し、性能はクラス頻度と強く相関していた。
• アノテーションプロセスには14人月の作業が要した。これは、低リソース言語向けの大規模な手作業収集が、高コストではあるが実現可能であることを示している。