[論文レビュー] BERT Fine-tuning For Arabic Text Summarization

Khalid N. Elmadani, Mukhtar Elgezouli+1 more|arXiv (Cornell University)|Mar 29, 2020

Topic Modeling参考文献 6被引用数 24

ひとこと要約

本論文は、ファインチューニングされた多言語Bert（M-BERT）を用いた、文書化された最初の生成的アラビア語テキスト要約モデルを提案し、低リソースなアラビア語要約で優れたパフォーマンスを達成した。M-BERTが小規模なアラビア語データセットにおいて抽出的および生成的要約の両方を著しく改善し、非事前学習済みのTransformerや単語言語Bertを上回り、低リソース環境におけるアラビア語NLPの新しいベンチマークを確立したことを示した。

ABSTRACT

Fine-tuning a pretrained BERT model is the state of the art method for extractive/abstractive text summarization, in this paper we showcase how this fine-tuning method can be applied to the Arabic language to both construct the first documented model for abstractive Arabic text summarization and show its performance in Arabic extractive summarization. Our model works with multilingual BERT (as Arabic language does not have a pretrained BERT of its own). We show its performance in English corpus first before applying it to Arabic corpora in both extractive and abstractive tasks.

研究の動機と目的

• 事前学習されたトランスフォーマー・アーキテクチャを用いた、最初の生成的アラビア語テキスト要約モデルの開発。
• 多言語Bert（M-BERT）が低リソースなアラビア語テキスト要約タスクに効果的に適用可能かどうかの評価。
• 抽出的および生成的要約において、ファインチューニング済みM-BERTを非事前学習済みのTransformerおよび単語言語Bertと比較すること。
• KALIMATやEASCのような既存の小規模アラビア語コーパスを用いて、アラビア語要約のベンチマークを確立すること。
• M-BERTを用いたトランスファー・ラーニングを活用することで、アラビア語NLPリソースの不足を是正すること。

提案手法

• 抽出的および生成的要約タスクの両方において、エンコーダーとしてファインチューニングされた多言語Bert（M-BERT）を用いた。
• BertSumアーキテクチャを採用：複数の文を表現するため、[CLS]トークンとインターバルセグメンテーション埋め込みを追加した。
• 生成的要約のため、6層のトランスフォーマー・デコーダーをランダムに初期化し、エンコーダーと同時にエンド・ツー・エンドで学習した。
• 抽出的要約のため、各[CLS]トークンの上にシグモイド分類器を追加し、要約に含める文の予測を実施した。
• CNN/DailyMail（英語）およびKALIMAT（アラビア語）データセットでモデルを学習し、評価にはROUGEを用いた。
• エンコーダーとデコーダーのそれぞれに別々の最適化関数を適用する、特別なファインチューニングスケジュールを導入し、学習の安定化を図った。

実験結果

リサーチクエスチョン

• RQ1 多言語Bert（M-BERT）は、低リソースなアラビア語テキスト要約の抽出的および生成的タスクに効果的に転送可能か？
• RQ2 M-BERTは、アラビア語要約において、単語言語Bertおよび非事前学習済みのTransformerと比較してどのように性能を発揮するか？
• RQ3 多言語データで事前学習したM-BERTは、小規模なアラビア語要約データセットでパフォーマンスを向上させるか？
• RQ4 抽出的要約と生成的要約のモデル間で、アラビア語要約タスクにおいて相対的なパフォーマンスギャップはどの程度か？
• RQ5 専用のアラビア語Bertが存在しない状況でも、1つのM-BERTモデルが抽出的および生成的要約の両方で競争力のある結果を達成できるか？

主な発見

• CNN/DailyMail英語テストセットでは、M-BERTがROUGE-1 30.35、ROUGE-2 11.33、ROUGE-L 25.3を達成し、単語言語Bertの性能に非常に近い結果を示した。
• KALIMATアラビア語データセットでは、ファインチューニング済みBertSumExtモデルがROUGE-1 F1スコア42.02を記録し、非事前学習済みのTransformerExt（28.75）を著しく上回った。
• 生成的モデル（BertSumAbs）はKALIMATでROUGE-1 F1 12.21を達成し、限られたデータでも生成的要約が可能であることを示した。
• 事前学習済みM-BERTは、抽出的および生成的タスクの両方で非事前学習済みのTransformerを大きく上回る性能向上をもたらし、低リソースなアラビア語NLPにおけるトランスファー・ラーニングの価値を裏付けた。
• 抽出的データセットでは、抽出的モデルが常に生成的モデルを上回る結果を示したが、生成的モデルも有意義なパフォーマンスを達成していた。
• 本研究は、文書化された最初の生成的アラビア語要約モデルを確立し、アラビア語NLP研究における重要な空白を埋めた。