[論文レビュー] Transformer-based Korean Pretrained Language Models: A Survey on Three Years of Progress

Kichang Yang|arXiv (Cornell University)|Nov 25, 2021

Natural Language Processing Techniques被引用数 7

ひとこと要約

本調査では、2018年から2021年にかけてリリースされた33種類以上の韓国語事前学習言語モデル（PLM）を包括的に比較し、感情分析、NER、NLI、STS、並び替え検出、質問応答の6つのベンチマークタスクでその性能を評価している。KoELECTRA（Base）とKcELECTRA-baseが、特に長文および複数文タスクで最先端の性能を示しており、一方でDistilKoBERTのような蒸留モデルは、複雑な推論タスクで性能が低下していることが明らかになった。

ABSTRACT

With the advent of Transformer, which was used in translation models in 2017, attention-based architectures began to attract attention. Furthermore, after the emergence of BERT, which strengthened the NLU-specific encoder part, which is a part of the Transformer, and the GPT architecture, which strengthened the NLG-specific decoder part, various methodologies, data, and models for learning the Pretrained Language Model began to appear. Furthermore, in the past three years, various Pretrained Language Models specialized for Korean have appeared. In this paper, we intend to numerically and qualitatively compare and analyze various Korean PLMs released to the public.

研究の動機と目的

• 2018年から2021年にかけて公開されたTransformerベースの韓国語事前学習言語モデルの性能を体系的に調査・比較すること。
• さまざまな韓国語NLPタスクにおけるモデルアーキテクチャ、事前学習目的、微調整戦略の分析。
• NSMC、ナバーネル、KorNLI、KorSTS、Question Pair、KorQuADなどの標準化されたベンチマークでのモデル性能の評価。
• モデルサイズ、蒸留、事前学習目的の影響が下流タスクの精度に与える影響を含む性能のトレンドの同定。
• 最先端の結果の特定と、特に長文および複数文推論タスクにおける性能のギャップの特定。

提案手法

• 本研究では、KoBERT、KcBERT、KoELECTRA、SoongsilBERT、KcELECTRA、KoBigBird、XLM-RoBERTaを含む33+種類の公開済み韓国語PLMを評価した。
• モデルは、NSMC（感情分析）、ナバーネル（固有表現抽出）、KorNLI（自然言語推論）、KorSTS（意味的類似度）、Question Pair（並び替え検出）、KorQuAD（質問応答）の6つの標準的韓国語NLPタスクでベンチマークされた。
• 性能は、標準的な指標で測定された：NSMCおよびNERではF1スコア、KorNLIおよびQuestion Pairでは正答率、KorSTSではスピアマン相関、KorQuADではEM/F1スコア。
• ベースおよびスモールバージョンのモデルを含み、特にDistilKoBERTのような蒸留モデルの性能のトレードオフに特に注目した。
• 事前学習目的として、MLM（マスク言語モデル）、NSP（次文予測）、およびアドバーシャル目的（ELECTRA方式）の比較を実施した。
• 結果を統合・分析し、アーキテクチャ、サイズ、事前学習戦略に基づくモデル性能のトレンドを同定した。

実験結果

リサーチクエスチョン

• RQ1 どの韓国語PLMが多様なNLPベンチマークで最高の性能を示し、XLM-RoBERTaのような多言語モデルと比べてどう異なるか？
• RQ2 DistilKoBERTのような蒸留モデルは、NLI や QA のような複雑な長文タスクで、フルサイズモデルと比べてどのように性能を示すか？
• RQ3 MLM、NSP、またはアドバーシャルマスキングといった事前学習目的が、韓国語NLPにおける下流タスク性能に与える影響は何か？
• RQ4 KcBERT や SoongsilBERT は短いテキストベンチマークでは強い性能を示すが、なぜ長文タスクでは性能が劣るのか？
• RQ5 KoBigBird や KoELECTRA といった最近のモデルは、質問応答や自然言語推論のような長文推論タスクでどのように性能を示すか？

主な発見

• KoELECTRA（Base）は、KorNLI（82.24の正答率）およびKorSTS（85.53のスピアマン相関）で最先端の性能を示し、KoBERT や XLM-RoBERTa を上回った。
• KcELECTRA-base は、BEEP! ハイ・スプライシティ分類ベンチマークで最高のF1スコア（69.91）を記録し、KoBERT や KcBERT など他のモデルを上回った。
• KoBigBird は、KorQuAD で最高のEMスコア（87.08）およびF1スコア（94.71）を記録し、長文質問応答タスクにおける優れた性能を示した。
• DistilKoBERT は、NSMC での性能に比べ、BEEP! データセットでF1スコアが5ポイント以上低下しており、複雑で繊細な分類タスクでは蒸留モデルの限界が顕在化している。
• KcBERT および SoongsilBERT は、KorNLI や KorQuAD のような複数文タスクで、多言語モデルの XLM-RoBERTa-base よりも低いスコアを記録した。これは、ドメイン特化の事前学習が、長文推論タスクにおける一般化性能を保証するとは限らないことを示している。
• 本研究では、アドバーシャルマスキング（ELECTRA）やフルアテンション機構（BigBird）といった事前学習目的が、複雑な推論および長文タスクでの性能向上に顕著に寄与することが確認された。