[論文レビュー] Comparative Study of Machine Learning Models and BERT on SQuAD

Devshree Patel, Param Raval+2 more|arXiv (Cornell University)|May 22, 2020

Topic Modeling参考文献 14被引用数 8

ひとこと要約

本研究では、SQuAD 1.1質問応答ベンチマーク上で、ロジスティック回帰、ガウス混合モデル、SVM、ランダムフォレスト、XGBoostといった従来の機械学習モデルとBERTを比較している。InferSentを用いた文の埋め込み表現を用いて、単純なモデルは高速である一方で、BERTは訓練時間の増加を犠牲にしても顕著に高い精度（テストF1スコア77％）を達成しており、自然言語処理モデルにおける性能と効率のトレードオフを示している。

ABSTRACT

This study aims to provide a comparative analysis of performance of certain models popular in machine learning and the BERT model on the Stanford Question Answering Dataset (SQuAD). The analysis shows that the BERT model, which was once state-of-the-art on SQuAD, gives higher accuracy in comparison to other models. However, BERT requires a greater execution time even when only 100 samples are used. This shows that with increasing accuracy more amount of time is invested in training the data. Whereas in case of preliminary machine learning models, execution time for full data is lower but accuracy is compromised.

研究の動機と目的

• 従来の機械学習モデルがSQuAD 1.1質問応答データセット上でどのように性能を発揮するかを評価すること。
• これらのモデルの精度と推論時間が、最先端のトランスフォーマー基盤モデルであるBERTと比べてどうなるかを比較すること。
• InferSent埋め込みのような文の表現技術がモデル性能に与える影響を分析すること。
• 質問応答システムにおいて、モデルの複雑さ、訓練時間、予測精度の間のトレードオフを調査すること。

提案手法

• 文の意味的表現に基づいた文脈的な文の埋め込み表現を生成するため、SQuAD 1.1データをInferSentで前処理すること。
• 次元削減とデータ再構築のための主成分分析（PCA）を適用し、再構築誤差を測定して成分の有効性を評価すること。
• ハイパーパramータチューニングを伴う、ロジスティック回帰、ガウス混合モデル、SVM、ランダムフォレスト、XGBoostといった複数の教師ありモデルを訓練および評価すること。
• クラウドTPUを用いて、BERT BASE（110Mパラメータ）をSQuAD 1.1で微調整し、エンドツーエンドの質問応答を実現すること。
• 推論時に、ベクトル空間におけるコサイン類似度とユークリッド距離を用いて、関連する文-質問ペアを同定すること。
• 最適なハイパーパramータ（例：SVMのgamma）に基づくモデル選択を目的に、F1スコア、訓練/テスト精度、損失曲線を用いてモデルを評価すること。

実験結果

リサーチクエスチョン

• RQ1 従来の機械学習モデルは、BERTと比較してSQuAD 1.1ベンチマーク上でどのように性能を発揮するか？
• RQ2 単純なモデルとBERTを比較した場合、推論速度と精度のトレードオフはどのように現れるか？
• RQ3 InferSentからの文の埋め込み表現は、さまざまな機械学習モデルの性能向上にどの程度寄与するか？
• RQ4 ハイパーパramータチューニングは、このデータセット上でのランダムフォレストやXGBoostのようなモデルにおける過学習と一般化性能にどのように影響するか？
• RQ5 BERTは高い計算コストにもかかわらず、なぜ他のモデルを上回る性能を発揮するのか？

主な発見

• BERTはSQuAD 1.1でテスト精度77％を達成し、すべての従来の機械学習モデルを顕著に上回った。
• 最も高い性能を示した従来モデルであるランダムフォレストは、min_samples_leaf=8およびn_estimators=60の設定で63.7％のテスト精度を達成したが、葉の最小サイズを小さくすると性能が低下し、過学習の兆候が示された。
• RBFカーネルを用いたSVMは、非木ベースのモデルの中で最高の66％のテスト精度を達成したが、依然としてBERTに劣った。
• PCAを適用したロジスティック回帰は、ベースラインからわずかに向上し、F1スコア52.5％を達成したが、依然としてBERTの性能には遠く及ばなかった。
• 低い精度であるが、ロジスティック回帰やSVMといった単純なモデルは、特に小規模なデータサブセットにおいて顕著に高速な実行時間を示した。
• 本研究は、BERTの双方向アテンションと深層トランスフォーマー構造が、優れた文脈理解を可能にし、その高い計算コストを正当化することを確認した。