[論文レビュー] BERT-Based Arabic Social Media Author Profiling

Chiyu Zhang, Muhammad Abdul-Mageed|arXiv (Cornell University)|Sep 9, 2019

Authorship Attribution and Profiling参考文献 40被引用数 9

ひとこと要約

本稿では、微調整された多言語 BERT と自社で作成したデータ拡張を用いて、アラビア語ソーシャルメディアの著者プロファイリングのための BERT ベースモデルを提案している。年齢、方言、性別の予測を焦点としている。最高の性能は、異なるデータ条件で訓練された複数の BERT モデルの多数決による予測によって達成され、年齢分類で 54.72%、方言分類で 93.75%、性別分類で 81.67%、統合精度で 40.97% の成績を記録した。これは、低リソースなアラビア語 NLP タスクにおいて、データ拡張とアンサンブル学習の有効性を示している。

ABSTRACT

We report our models for detecting age, language variety, and gender from social media data in the context of the Arabic author profiling and deception detection shared task (APDA). We build simple models based on pre-trained bidirectional encoders from transformers (BERT). We first fine-tune the pre-trained BERT model on each of the three datasets with shared task released data. Then we augment shared task data with in-house data for gender and dialect, showing the utility of augmenting training data. Our best models on the shared task test data are acquired with a majority voting of various BERT models trained under different data conditions. We acquire 54.72% accuracy for age, 93.75% for dialect, 81.67% for gender, and 40.97% joint accuracy across the three tasks.

研究の動機と目的

• アラビア語著者プロファイリングのための強力な BERT ベースモデルの開発を目的とし、年齢、方言、性別の予測に焦点を当てる。
• 自社でラベル付けしたデータ拡張が、方言および性別分類タスクのモデル性能に与える影響を評価すること。
• 異なるデータ条件で訓練された複数の BERT モデルを用いた多数決によるアンサンブル学習の有効性を調査すること。
• とりわけ代表が不足している方言や性別カテゴリを対象とした、低リソースなアラビア語著者プロファイリングの課題に対処すること。
• データおよびモデルのアンサンブルによる一般化性能の向上を図り、APDA 共同タスクに競争力のあるモデルを提出すること。

提案手法

• 年齢、方言、性別の3つの分類タスクそれぞれについて、共有タスクのデータを微調整した多言語 BERT-Base cased モデルを用いる。
• 自社で作成したラベル付きデータセット（性別用に 1,100 ユーザー、方言クラスごとに 20,000 件のツイート）を導入し、データ拡張を実施。これらを公式トレーニングデータと組み合わせて拡張データセットを構築した。
• 元の共有タスクデータと拡張データ（BERT_EXT）の両方を用いて BERT モデルを訓練し、一般化性能の向上と過学習の低減を図った。
• 2段階のパイプラインを採用：まずツイートレベルでラベルを予測し、次にユーザー単位で多数決による集約処理を実施。
• 最終的なテスト予測には、3つの異なるモデル設定（初回提出、DEV データを統合した2回目提出、ユーザー単位の BERT）の多数決を適用した。
• 標準的なトレーニングプロトコルを適用：シーケンス長 50 ツイート、バッチサイズ 32、初期学習率 2e-5、検証セットでの早期停止を伴う 15 エポックの学習。

実験結果

リサーチクエスチョン

• RQ1 アラビア語著者プロファイリングタスク、とりわけ年齢、方言、性別の予測において、BERT の微調整はどの程度有効であるか？
• RQ2 自社で作成したデータ拡張は、低リソースなアラビア語方言および性別分類タスクのモデル性能をどの程度向上させるか？
• RQ3 異なるデータ条件で訓練された複数の BERT モデルを用いた多数決によるアンサンブル学習は、個々のモデルを上回る性能を発揮できるか？
• RQ4 検証データ（DEV）をトレーニングに統合することで、公式テストセットでのモデル一般化性能にどのような影響を与えるか？
• RQ5 APDA 共同タスクにおいて、年齢、方言、性別の3つのタスクを同時に予測するマルチタスク著者プロファイリングシステムの統合性能はどの程度か？

主な発見

• 多数決による3つの異なる BERT モデル設定の統合によって得られた最良のモデルは、年齢分類タスクで 54.72% の精度を達成した。
• 方言識別では、最終提出で 93.75% の精度を記録した。これは、初期の BERT モデル（93.33%）および BERT_EXT モデル（95.56%）を上回る性能であった。
• 性別分類では、最終提出で 81.67% の精度を達成した。これは、初期 BERT モデル（77.08%）および BERT_EXT モデル（84.00%）を上回った。
• 3つのタスクの統合予測精度は 40.97% に達し、共同タスクで用いられたマルチラベル評価指標において優れた性能を示した。
• 自社で作成したデータ拡張により、方言および性別タスクの両方で性能向上が見られた。BERT_EXT モデルはベースライン BERT モデルに比べて一貫した向上を示した。
• 多数決戦略は非常に有効であり、個々のモデル提出と比較して、3つのタスクすべてで性能を維持または向上させた。