[論文レビュー] Breaking Character: Are Subwords Good Enough for MRLs After All?

Omri Keren, Tal Avinari+2 more|arXiv (Cornell University)|Apr 10, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、語彙素子ではなく文字レベルのスパンに事前に学習させたBERT風のマスク言語モデル、TavBERTを提案し、形態素が豊富な言語（MRLs）における性能向上の可能性を検証する。形態素タスクではわずかな向上が見られるものの、ヘブライ語、トルコ語、アラビア語において、名前付きエンティティ認識や質問応答といった意味的タスクでは、語彙素子ベースのモデルがTavBERTを大きく上回り、MRLsにおいても語彙素子トークン化が強力なインダクティブバイアスのままであることを示している。

ABSTRACT

Large pretrained language models (PLMs) typically tokenize the input string into contiguous subwords before any pretraining or inference. However, previous studies have claimed that this form of subword tokenization is inadequate for processing morphologically-rich languages (MRLs). We revisit this hypothesis by pretraining a BERT-style masked language model over character sequences instead of word-pieces. We compare the resulting model, dubbed TavBERT, against contemporary PLMs based on subwords for three highly complex and ambiguous MRLs (Hebrew, Turkish, and Arabic), testing them on both morphological and semantic tasks. Our results show, for all tested languages, that while TavBERT obtains mild improvements on surface-level tasks à la POS tagging and full morphological disambiguation, subword-based PLMs achieve significantly higher performance on semantic tasks, such as named entity recognition and extractive question answering. These results showcase and (re)confirm the potential of subword tokenization as a reasonable modeling assumption for many languages, including MRLs.

研究の動機と目的

• 形態素が豊富な言語（MRLs）において、語彙素子トークン化が不十分であるという以前の仮説を検証すること。
• 語彙素子ベースのBERTモデルと比較して、文字レベルのマスク言語モデル（TavBERT）の性能をMRLsで評価すること。
• ヘブライ語、トルコ語、アラビア語において、TavBERTと語彙素子モデルを、形態句法学的および意味的下流タスクの両方で比較すること。
• 文字レベルの事前学習が、MRLsにおける形態的パターンの捉え込みを改善するかどうかを評価すること。
• 語彙素子トークン化がMRLsにおけるPLM性能を損なうという仮定を再評価すること。

提案手法

• 生の文字列に対して、マスク言語モデル（MLM）の目的関数を用いて、BERT風のトランスフォーマー符号化器を事前学習する。
• スパン長はポisson分布を用い、平均で15%のシーケンスがマスクされるように、文字のスパンをランダムにマスクする。
• [MASK]トークンを用いて、マスクされたスパンの元の文字を予測し、次文予測を除くMLM目的関数のみで学習する。
• ヘブライ語、トルコ語、アラビア語の単語語彙のOSCARコーパスを用いて、文字頻度に基づき99.93%のコーパスをカバーする語彙を定義し、TavBERTを学習する。
• 品詞タグ付け、形態素の曖昧性解消、NER、抽出型質問応答などの下流タスクでTavBERTを微調整する。
• 同じベンチマークで、語彙素子ベースのモデル（mBERT、HeBERT、BERTurk、AraBERT）とTavBERTの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 形態素が豊富な言語における形態的タスクで、文字レベルの事前学習（TavBERT）は語彙素子ベースのモデルを上回るか？
• RQ2 TavBERTは、語彙素子ベースのBERTと比較して、完全な形態素の曖昧性解消タスクでどの程度改善を示すか？
• RQ3 名前付きエンティティ認識や質問応答といった意味的タスクにおいて、語彙素子ベースのモデルとTavBERTはどのように比較されるか？
• RQ4 語彙素子トークン化は、MRLsにおける形態的豊かさのモデル化に十分なインダクティブバイアスであるか？
• RQ5 明示的な言語学的前提なしに、文字レベルのモデルは複雑な形態的パターンを学習できるか？

主な発見

• 品詞タグ付けでは、TavBERTは語彙素子ベースのモデルと同等の性能を示し、一部の言語でわずかな改善が見られた。
• 完全な形態素の曖昧性解消では、SPMRLではmBERTより25%の誤差削減、UDでは39%の誤差削減を達成し、mBERTを上回ったが、単語語彙素子モデルには大きく及ばなかった。
• 名前付きエンティティ認識では、TavBERTは語彙素子モデルに劣位した：ヘブライ語では81.54 F1（AlephBERTは84.91）、トルコ語では91.19 F1（BERTurkは93.57）、アラビア語では79.45 F1（AraBERTは83.48）。
• 抽出型質問応答では、顕著な性能差が見られた：ヘブライ語では48.7 F1 / 29.1 EM（AraBERTは49.6 F1 / 26.0 EM）、トルコ語では61.7 F1 / 46.7 EM（BERTurkは78.2 F1 / 61.1 EM）、アラビア語では60.0 F1 / 45.9 EM（AraBERTは83.5 F1 / 71.1 EM）。
• 3言語すべてにおいて、語彙素子ベースのモデルはTavBERTよりも意味的タスクで一貫して優れた性能を示し、意味的表現学習の能力が優れていることが示された。
• 結果から、語彙素子トークン化はMRLsにおいて妥当かつ効果的なインダクティブバイアスであると示唆され、それまでのその不適切さに関する主張とは対照的である。