[論文レビュー] BARTpho: Pre-trained Sequence-to-Sequence Models for Vietnamese

Nguyen Luong Tran, Duong Minh Le+1 more|arXiv (Cornell University)|Sep 20, 2021

Topic Modeling被引用数 6

ひとこと要約

本稿では、20GBのベトナム語コーパスを用いて、BARTのノイズ除去自己符号化器フレームワークで訓練された、ベトナム語向けの最初のスケールの大きな単一言語的シーケンス・ツー・シーケンス事前学習モデル、BARTphoを紹介する。BARTphoは、音節レベルおよび語彙レベルのバージョンを備え、ベトナム語の要約作成および大文字・句読点復元の自動評価および人的評価においてmBARTを上回り、生成的ベトナム語NLPタスクにおける新たなSOTAを確立した。

ABSTRACT

We present BARTpho with two versions, BARTpho-syllable and BARTpho-word, which are the first public large-scale monolingual sequence-to-sequence models pre-trained for Vietnamese. BARTpho uses the "large" architecture and the pre-training scheme of the sequence-to-sequence denoising autoencoder BART, thus it is especially suitable for generative NLP tasks. We conduct experiments to compare our BARTpho with its competitor mBART on a downstream task of Vietnamese text summarization and show that: in both automatic and human evaluations, BARTpho outperforms the strong baseline mBART and improves the state-of-the-art. We further evaluate and compare BARTpho and mBART on the Vietnamese capitalization and punctuation restoration tasks and also find that BARTpho is more effective than mBART on these two tasks. We publicly release BARTpho to facilitate future research and applications of generative Vietnamese NLP tasks. Our BARTpho models are available at https://github.com/VinAIResearch/BARTpho

研究の動機と目的

• 生成的NLPタスクに不可欠な、ベトナム語向けの大規模な単一言語的シーケンス・ツー・シーケンス事前学習モデルの不足に対処すること。
• 言語固有の音節語構造を考慮して、語の区切りが事前学習効果に与える影響を調査すること。
• ベトナム語におけるテキスト要約作成、大文字復元、句読点復元といった下流の生成的タスクのパフォーマンスを向上させること。
• 今後のベトナム語NLP研究の強力なベースラインとして機能する、公開可能な高品質な事前学習モデルをリリースすること。
• 言語特化型の単一言語モデルが、ベトナム語NLPタスクにおいて多言語モデルを上回ることを示すこと。

提案手法

• 20GBの単一言語的ベトナム語コーパスを用いて、BARTのノイズ除去自己符号化器フレームワークで、BARTpho音節およびBARTpho語の2つのバージョンを事前学習する。
• BARTと同一の事前学習目的を持つ大規模なアーキテクチャを用い、シーケンスのマスキングと再構築を通じて文脈的表現を学習する。
• BARTpho語バージョンのため、VnCoreNLPのRDRSegmenterを用いて語の区切りを適用し、語彙レベルの入力を処理する。
• 検証損失に基づく早期停止を用いた標準的な微調整手順により、下流タスクでモデルを微調整する。
• 標準指標を用いてパフォーマンスを評価する：要約作成にはROUGE、大文字および句読点復元にはF1スコアを使用する。
• リリースされたモデルの容易な統合とデプロイメントを可能にするために、Hugging Faceのtransformersおよびfairseqライブラリを活用する。

実験結果

リサーチクエスチョン

• RQ1 多言語ベースラインと比較して、単一言語的シーケンス・ツー・シーケンス事前学習が、ベトナム語の生成的NLPタスクのパフォーマンスを顕著に向上させられるか？
• RQ2 ベトナム語のシーケンス・ツー・シーケンスモデルにおいて、語レベルの事前学習が音節レベルの事前学習を上回るか？
• RQ3 ASRトランスクリプトにおける大文字および句読点の復元において、BARTphoはmBARTを上回る効果を示すか？
• RQ4 BARTphoは、ベトナム語のテキスト要約タスクでSOTAパフォーマンスを達成できるか？
• RQ5 特に語の区切りに特化した言語的構造が、ベトナム語における事前学習シーケンス・ツー・シーケンスモデルのパフォーマンスにどの程度影響を与えるか？

主な発見

• BARTphoは、自動評価（ROUGE）および人的評価の両方で、ベトナム語の要約作成タスクにおいてmBARTを上回り、新たなSOTAを達成した。
• BARTpho語は、mBARTと比較して、大文字復元で1.1%高いF1スコア、句読点復元で0.7%高いF1スコアを達成した。
• BARTpho語は、句読点復元タスクで、BARTpho音節およびmBARTを上回る最高の全体F1スコアを記録した。
• ピリオド（Period）の句読点では、mBARTがBARTpho（語および音節）をわずかに上回った（BARTpho語で0.14%、音節で0.4%の差），ただし差は最小限であった。
• コロン（Comma）および疑問符（Question）の句読点では、BARTpho音節およびBARTpho語の両方がmBARTを大きく上回り、顕著なパフォーマンスギャップを示した。
• BARTpho語は、すべてのタスクで一貫してBARTpho音節を上回った。これは、語の区切りがベトナム語における事前学習効果を向上させることを示している。