[論文レビュー] Arabic Dialect Identification Using BERT-Based Domain Adaptation

Ahmad Beltagy, Abdelrahman Wael+1 more|arXiv (Cornell University)|Nov 13, 2020

Natural Language Processing Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、ラベルなしのTwitterデータで微調整されたAraBERTを用いた、アラビア語方言同定のためのBERTベースのドメイン適応手法を提案する。広範なテキストクリーニング、データ拡張、およびマスク言語モデル微調整を適用することで、NADI共有タスクにおいて23.09%のF1マクロスコアを達成し、21の方言の中で4位となり、堅牢な半教師ありディープラーニングフレームワークを構築した。

ABSTRACT

Arabic is one of the most important and growing languages in the world. With the rise of social media platforms such as Twitter, Arabic spoken dialects have become more in use. In this paper, we describe our approach on the NADI Shared Task 1 that requires us to build a system to differentiate between different 21 Arabic dialects, we introduce a deep learning semi-supervised fashion approach along with pre-processing that was reported on NADI shared Task 1 Corpus. Our system ranks 4th in NADI's shared task competition achieving a 23.09% F1 macro average score with a simple yet efficient approach to differentiating between 21 Arabic Dialects given tweets.

研究の動機と目的

• ソーシャルメディアのテキストにおいて21のアラビア語方言を同定する課題に取り組むこと、特にデータの不均衡とノイズの多いサンプルが存在する状況を想定する。
• 事前学習済みBERTモデルを用いた半教師ありディープラーニングアプローチにより分類性能を向上させること。
• 特定のテキスト前処理により、コーランの聖句や英語の単語といったノイズの影響を軽減すること。
• マスク言語モデルによる微調整を通じて、ラベルなしのTwitterデータでAraBERTを微調整し、ドメイン適応を実現することで、モデルの汎化性能を向上させること。
• 少数派の方言に対して、BERTとナイーブベイズを組み合わせたハイブリッドアーキテクチャを検討し、低リソースクラスにおける性能向上を図ること。

提案手法

• 正規表現およびPyArabicを用いて、URL、メンション、標点、英数字、絵文字、タシュキルを削除し、長音の正規化を実施するなど、テキストクリーニングを実施した。
• ファラサセグメンターを用いて語彙素の分離を実施し、接頭辞や接尾辞を語根語と分離することで、語彙的表現の質を向上させた。
• トレーニングセットにおけるクラス不均衡を是正するため、少数クラスのデータをアップサンプリングした。
• マスク言語モデル（MLM）を用いて、ラベルなしのNADI Twitterコーパス上でAraBERTを微調整し、事前学習済みモデルをターゲットドメインに適応させた。
• ハイブリッドモデルとして、AraBERTとナイーブベイズを組み合わせ、AraBERTがまずツイートをメジャーダイアレクトまたはマイナーダイアレクトグループに分類し、その後、ナイーブベイズがマイナーダイアレクトクラスの予測をさらに分類した。
• 最終的なモデルは、ドメイン適応済みAraBERTを用いた1つのトランスフォーマーヘッドを採用し、クリーニングおよび拡張済みデータ上でエンドツーエンドで学習させ、NADIベンチマークで最先端の性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのTwitterデータを用いたマスク言語モデル微調整によるドメイン適応は、アラビア語方言同定においてどの程度有効であるか？
• RQ2 テキスト前処理およびデータ拡張は、低リソースのアラビア語方言において、どの程度性能向上に寄与するか？
• RQ3 BERTとナイーブベイズを組み合わせたハイブリッドモデルは、マイナーダイアレクトクラスにおいて、純粋なBERTベースの分類器を上回る性能を発揮できるか？
• RQ4 コーランの聖句や英語の単語といったノイズ要因はモデル性能にどのような影響を及ぼすか？また、前処理によってその影響を軽減できるか？
• RQ5 クリーニング、アップサンプリング、MLM微調整といった各コンponentが、全体のF1スコア向上に果たす寄与度はどの程度か？

主な発見

• 前処理やデータ拡張を施さないベースラインのAraBERTモデルは、開発セットでF1スコア18.6%を記録し、さらなる改善の余地が大きいことが示された。
• テキスト前処理のみを適用した場合、F1スコアは20.54%に向上し、ノイズや一貫性のない言語的特徴のクリーニングが有効であることが実証された。
• 前処理とアップサンプリングを組み合わせた場合、F1スコアは21.33%に上昇し、クラス不均衡の是正がマイナーダイアレクト認識に寄与することが示された。
• ラベルなしのTwitterコーパス上でマスク言語モデルによる微調整を実施したことで、最も大きなスコア向上が得られ、開発セットでのF1スコアは24.43%に達した。
• 最終モデルは、テストセットで23.09%のF1マクロスコアを達成し、NADI共有タスクで4位となり、ドメイン適応の有効性が裏付けられた。
• ハイブリッドのAraBERT + ナイーブベイズモデルは22.3%のF1スコアを記録したが、これは純粋なAraBERTアプローチに比べて効果が低かった。これは、この設定では単純なモデルが複雑なアンサンブルを上回ることを示唆している。