[論文レビュー] Monolingual versus Multilingual BERTology for Vietnamese Extractive Multi-Document Summarization

Huy Quoc To, Kiet Van Nguyen+2 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling被引用数 6

ひとこと要約

この論文は、BERTでエンコードされた文埋め込みを用いたクラスタリングベースのアプローチを用いて、ベトナム語の抽出的マルチドキュメント要約における単言語および多言語BERTモデルの効果を評価している。単言語モデルのviBERT4newsは、ROUGE-1が77.44%、ROUGE-2が52.01%を記録し、多言語BERTの2つのバリアントおよび先行するベトナム語要約システムを上回った。

ABSTRACT

Recent researches have demonstrated that BERT shows potential in a wide range of natural language processing tasks. It is adopted as an encoder for many state-of-the-art automatic summarizing systems, which achieve excellent performance. However, so far, there is not much work done for Vietnamese. In this paper, we showcase how BERT can be implemented for extractive text summarization in Vietnamese on multi-document. We introduce a novel comparison between different multilingual and monolingual BERT models. The experiment results indicate that monolingual models produce promising results compared to other multilingual models and previous text summarizing models for Vietnamese.

研究の動機と目的

• 単言語および多言語BERTモデルがベトナム語の抽出的マルチドキュメント要約にどの程度有効であるかを評価すること。
• 多言語および単言語モデルを含むさまざまなBERTバリアントの、ベトナム語要約ベンチマーク上での性能を比較すること。
• ベトナム語データで事前学習された単言語BERTモデルが、この低リソース言語タスクにおいて多言語モデルを上回るかどうかを評価すること。
• 提案されたBERTベースのアプローチを、既存の非教師ありおよびディープラーニング手法と比較してベンチマークすること。
• 事前学習データの分布（例：ニュース特化）が、ドメインにマッチした設定におけるモデル性能に与える影響を分析すること。

提案手法

• ベトナム語の抽出的要約タスクに対して、単言語（PhoBERT、viBERT4news）および多言語（Multilingual-BERT、XLM-R、DistilBERT）の複数のBERTモデルを微調整・評価する。
• 文埋め込みをBERTモデルから得て、クラスタリングベースの文選択に使用し、4つのクラスタ（K=4）を設定して4文の要約を生成する。
• 各モデルの最高Fスコアを計算するために、トピックごとに2つのゴールド要約を用いてROUGE評価指標（ROUGE-1およびROUGE-2）を適用する。
• 入力ドキュメントを文に分割し、BERTトークン化を適用した後、エンコードする。
• Hugging Face Transformersライブラリを用いて、ベースサイズのBERTアーキテクチャを用いてモデルを訓練および評価する。
• 複数の要約リファレンスからの平均最高Fスコアを用いて、モデル間の結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 ベトナム語データで事前学習された単語言語BERTモデルは、ベトナム語の抽出的マルチドキュメント要約において、多言語BERTモデルを上回る性能を示すか？
• RQ2 多言語BERTバリアント（例：Multilingual-BERT、XLM-R、DistilBERT）は、ベトナム語要約タスクでどの程度性能を発揮するか？
• RQ3 ドメイン特化型の事前学習（例：ニュースデータ）は、ニュースベースの要約データセットで性能をどの程度向上させるか？
• RQ4 提案されたBERTベースの手法は、先行する非教師ありおよびディープラーニング手法（例：LSA、LexRank、CNN、LSTM）と比較して、ROUGEスコアでどの程度優れているか？
• RQ5 BERTベースのモデルは、CFVi-2 や TSGVi といった既存の最先端のベトナム語要約システムを上回ることができるか？

主な発見

• 単語言語のviBERT4newsモデルが、最高のROUGE-1スコア77.44%およびROUGE-2スコア52.01%を記録し、テストされたすべての他のBERTモデルを上回った。
• 多言語BERTモデル、特にXLM-R-baseおよびDistilBERT-multilingual-casedは、それぞれROUGE-1スコア77.40%および77.42%を達成し、競争力のある結果を示した。
• viBERT4newsは、従来の非教師あり手法（例：KLダイバージェンスでROUGE-1 60.2%）およびディープラーニングベースライン（例：CNNでROUGE-1 52.8%）を25ポイント以上上回った。
• viBERT4newsと最高の先行システム（CFVi-2）との間のROUGE-1スコア差は1.06%、ROUGE-2スコア差は2.58%であり、その最先端性能が裏付けられた。
• viBERT4newsの成功は、20GBのベトナム語ニュースデータで事前学習されたことに起因し、テストデータセットのドメインと密接に一致しているためである。
• 強力な性能を示したが、すべての多言語モデルを常に上回る単語言語モデルは存在しなかったため、事前学習データの分布とモデルアーキテクチャが重要な要因であることが示された。