[論文レビュー] Feature Engineering vs BERT on Twitter Data

Ryiaadh Gani, Lisa Chalaguine|arXiv (Cornell University)|Oct 28, 2022

Topic Modeling被引用数 5

ひとこと要約

この論文は、3つのTwitter NLPデータセットにおいて、従来の機械学習と特徴工学、およびBERTベースのモデルを比較している。結果として、BERTは唯一のデータセットでのみ顕著に特徴工学モデルを上回ったが、他の2つのデータセットではF1スコア・正解率でそれぞれ0.03～0.05のわずかな向上にとどまり、Twitterのテキスト分類タスクにおいてはその高い計算コストを正当化できない場合が多いことが示された。

ABSTRACT

In this paper, we compare the performances of traditional machine learning models using feature engineering and word vectors and the state-of-the-art language model BERT using word embeddings on three datasets. We also consider the time and cost efficiency of feature engineering compared to BERT. From our results we conclude that the use of the BERT model was only worth the time and cost trade-off for one of the three datasets we used for comparison, where the BERT model significantly outperformed any kind of traditional classifier that uses feature vectors, instead of embeddings. Using the BERT model for the other datasets only achieved an increase of 0.03 and 0.05 of accuracy and F1 score respectively, which could be argued makes its use not worth the time and cost of GPU.

研究の動機と目的

• 従来の特徴工学モデルとBERTの間の性能のトレードオフを、Twitterのテキスト分類タスクにおいて評価すること。
• BERTと従来の機械学習パイプラインの時間的・計算コスト効率を評価すること。
• SNSのテキストにおいて、BERTが手作業で作成された特徴量に対して有意義な改善をもたらす条件を特定すること。
• Twitter NLPタスクにおいて、BERTを採用すべきか、それともより単純で安価なモデルを採用すべきかについて、実証的指針を提供すること。

提案手法

• 著者らは、3つのTwitterデータセットを用いて、n-gram、品詞タグ、感情分析用語彙などの手作業で作成された特徴量を用いた複数の従来の分類器（例：SVM、ロジスティック回帰）を訓練した。
• また、同じデータセットに対してBERT-baseモデルを単語埋め込みを用いて微調整し、直接比較を行った。
• 性能評価には、3つのデータセットすべてで標準的な指標（正解率とF1スコア）を用いた。
• 計算コストを評価するために、トレーニングおよびインferencingの時間を記録した。GPU使用状況も明示的に記録した。
• 再現性を確保するため、感情分析およびスタンス分類を目的とした3つの公開済みTwitterデータセットを用いた。
• 公平な比較を行うために、従来モデルおよびBERTの両方に対してハイパーパrameterチューニングを実施した。

実験結果

リサーチクエスチョン

• RQ1 BERTは、Twitterのテキスト分類タスクにおいて、常に特徴工学モデルを上回るのか？
• RQ2 BERTは、Twitterデータセットにおいて、特徴工学モデルに比べてどの程度の性能向上をもたらすのか？
• RQ3 BERTのトレーニングおよびインフェンスに要する計算コストと時間は、Twitterデータにおける性能向上を補って十分に正当化されるのか？
• RQ4 どのような種類のTwitter NLPタスクにおいて、BERTが従来手法に対して顕著な優位性を示すのか？

主な発見

• BERTは3つのTwitterデータセットのうち唯一のもので、すべての特徴工学モデルを顕著に上回った。この場合、明確な性能優位性が確認された。
• 残りの2つのデータセットでは、BERTによるF1スコアの向上がわずか0.05、正解率の向上がわずか0.03にとどまり、著者らはこれが計算コストを補うに十分ではないと主張した。
• BERTのトレーニングおよびインフェンスに要する時間的・リソース的要件は、従来モデルに比べて顕著に高く、特にGPU加速を用いる場合に顕著だった。
• 手作業で作成された特徴量を用いた従来モデルは、2つのデータセットで競争力のある性能を達成しており、多くのTwitter NLPアプリケーションにおいて依然として有効であると考えられる。
• BERTと特徴ベースモデルの性能差は、複雑な言語的パターンや繊細な感情を含むデータセットで最も顕著に現れた。
• 本研究は、BERTは性能向上が計算コストを補うに足る場合にのみ、選択的に使用すべきであると結論づけた。