[論文レビュー] VieSum: How Robust Are Transformer-based Models on Vietnamese Summarization?

Hieu Nguyen, Long Phan+3 more|arXiv (Cornell University)|Oct 8, 2021

Topic Modeling参考文献 23被引用数 4

ひとこと要約

本稿は、WikilinguaおよびVietnewsの2つのデータセットを用いて、トランスフォーマーに基づくエンコーダーデコーダーモデルのベトナム語の要約抽出タスクにおけるロバスト性を評価している。多言語モデル（mT5 や mBART）は、単言語モデル（PhoBERT や ViBERT）を上回る性能を示し、特にウィキペディアベースのデータでは顕著である。これは、事前学習データの質の重要性を示しており、より強力な単言語モデルの開発による性能向上の可能性を示唆している。

ABSTRACT

Text summarization is a challenging task within natural language processing that involves text generation from lengthy input sequences. While this task has been widely studied in English, there is very limited research on summarization for Vietnamese text. In this paper, we investigate the robustness of transformer-based encoder-decoder architectures for Vietnamese abstractive summarization. Leveraging transfer learning and self-supervised learning, we validate the performance of the methods on two Vietnamese datasets.

研究の動機と目的

• 事前学習済みのトランスフォーマー基盤モデルが、ベトナム語の要約抽出タスクにおいてどの程度ロバストであるかを調査すること。
• ベトナム語の要約タスクにおいて、単言語モデル（例：PhoBERT, ViBERT）と多言語モデル（例：mT5, mBART）の性能を比較すること。
• 低リソースな言語処理環境（例：ベトナム語自然言語処理）におけるモデル性能に、事前学習データの分布と規模が与える影響を分析すること。
• トランスファー学習および自己教師あり事前学習が、ベトナム語の要約抽出タスクにどのように寄与するかを評価すること。
• 2つの公開済みのベトナム語要約データセットを微調整することで、今後の研究のベンチマークを提供すること。

提案手法

• Vaswani et al. (2017) が提唱した、事前学習済みエンコーダーとデコーダーを用いたエンコーダーデコーダー型トランスフォーマーのアーキテクチャを微調整した。
• シーケンス・ツー・シーケンスの要約タスクに適応させるために、BERT2BERTアーキテクチャ（Rothe et al., 2019）を適用した。
• 2つのデータセットを用いた：Wikilingua（ウィキペディアベース）と Vietnews（ベトナムのメディア記事から構成されるニュース記事）、両方とも人間が作成した要約が付与されている。
• 参照要約とのn-gramおよび最長共通部分列の重複度を測定するために、ROUGE-1、ROUGE-2、ROUGE-Lスコアを用いてモデルを評価した。
• 同じ微調整設定で、単言語モデル（PhoBERT, ViBERT）と多言語モデル（mBERT, mBART, mT5）を訓練・比較した。
• ベースモデルの初期事前学習段階で、マスク言語モデル（MLM）のような自己教師あり事前学習目的を活用した。

実験結果

リサーチクエスチョン

• RQ1 単語言語モデル（例：PhoBERT, ViBERT）と多言語モデル（例：mT5, mBART）は、ベトナム語の要約抽出タスクにおいて、どのように性能を発揮するか？
• RQ2 事前学習データの質とドメインが、制約付きドメインの要約タスクにおけるモデル性能に与える影響は何か？
• RQ3 初期化された重みとは異なる事前学習済みデコーダーを組み込むことで、要約性能がどの程度向上するか？
• RQ4 mT5 や mBART といった多言語モデルは、ベトナム語データに特化した微調整が行われていないにもかかわらず、ベトナム語要約タスクに効果的に一般化できるか？
• RQ5 PhoBERT と ViBERT といった単語言語モデルは、ニュース記事やウィキペディア風のドキュメントにおいて、多言語モデルと比較してどの程度の相対的性能を示すか？

主な発見

• mT5 は Wikilingua で最高の ROUGE スコアを記録し、ROUGE-1 55.27、ROUGE-2 27.63、ROUGE-L 38.30 を達成し、他のすべてのモデルを上回った。
• mBART は Wikilingua で2番目の高い性能を示し、ROUGE-1 55.21、ROUGE-2 25.69、ROUGE-L 37.33 を記録した。
• Vietnews データセットでは、PhoBERT2PhoBERT が最も優れた結果（ROUGE-1: 60.37、ROUGE-2: 29.12、ROUGE-L: 39.44）を示し、多言語モデルを上回った。
• 単語言語モデルの PhoBERT2PhoBERT は、ランダム重みベースライン（RND2RND）を著しく上回り、Wikilingua においてすべての ROUGE スコアで2–4%の向上を示した。
• 多言語モデル（mT5 や mBART）は、Vietnews データセットにおいて、RND2RND ベースラインと比較して僅かな向上しか示さず、ニュースドメインのテキストへの転送性が限定的であることが示唆された。
• Common Crawl などの大規模かつ多様なコーパスで事前学習されたモデル（mT5 や mBART）は、ウィキペディア風の制約付きドメインのデータでは性能向上を示したが、ドメイン特化したニューステキストではその効果が限定的であった。