[論文レビュー] Automated classification for open-ended questions with BERT

Hyukjun Gweon, Matthias Schonlau|arXiv (Cornell University)|Sep 13, 2022

Natural Language Processing Techniques参考文献 27被引用数 4

ひとこと要約

この論文は、オープンエンドのアンケート返答の自動分類に微調整されたBERTを評価し、SVM、ランダムフォレスト、XGBoostなどの非事前学習モデルと比較している。結果として、訓練データが増加するにつれてBERTが顕著に優れていることが示され、200～400件のラベル付き例を超えると明確な正確性の優位性が現れる。これは社会学的研究における大規模なテキストコーディングにおいて優れた選択肢である。

ABSTRACT

Manual coding of text data from open-ended questions into different categories is time consuming and expensive. Automated coding uses statistical/machine learning to train on a small subset of manually coded text answers. Recently, pre-training a general language model on vast amounts of unrelated data and then adapting the model to the specific application has proven effective in natural language processing. Using two data sets, we empirically investigate whether BERT, the currently dominant pre-trained language model, is more effective at automated coding of answers to open-ended questions than other non-pre-trained statistical learning approaches. We found fine-tuning the pre-trained BERT parameters is essential as otherwise BERT's is not competitive. Second, we found fine-tuned BERT barely beats the non-pre-trained statistical learning approaches in terms of classification accuracy when trained on 100 manually coded observations. However, BERT's relative advantage increases rapidly when more manually coded observations (e.g. 200-400) are available for training. We conclude that for automatically coding answers to open-ended questions BERT is preferable to non-pretrained models such as support vector machines and boosting.

研究の動機と目的

• 事前学習された言語モデルであるBERTが、非事前学習モデルと比較して、オープンエンドのアンケート返答の自動分類を改善するかどうかを評価すること。
• アンケート研究で一般的な小規模な訓練データセットにおけるBERTの微調整の必要性と影響を調査すること。
• 異なるサイズの手動コーディング訓練データを用いて、BERTの性能を従来のモデル（SVM、ランダムフォレスト、XGBoost）と比較すること。
• アンケートデータに一般的な不均衡なクラス分布を扱う場合に、BERTの頑健性を評価すること。
• 実世界のアンケート応用において、BERTを実用的かつスケーラブルに展開できるかどうかを判断すること。

提案手法

• 2つの実世界のアンケートデータセット（Patient JoeとDisclosure）に対して、大文字なしのBERTベースモデル（12層、768次元の隠れ層、12ヘッドのアテンション）を微調整した。
• 10％のドロップアウトを伴う交差エントロピー損失関数を用い、バッチサイズ8、微調整学習率0.0003で3エポック分トレーニングした。
• 非BERTモデル（SVM、ランダムフォレスト、XGBoost）との公平な比較のため、テキスト返答をユニグラムベースの数値特徴量に変換した。
• SVMとRFではグリッドサーチ、XGBoostでは50回の反復でランダムサーチを用いてハイパーパrameterを最適化した。
• 訓練データセットを100～400件の規模で評価し、100件を検証用に残し、残りをテストに使用した。
• 全体の正確性、マクロ正確性、クラス別正確性を測定して、全体的およびクラスごとの性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 微調整されたBERTは、非事前学習モデルと比較して、オープンエンドのアンケート返答の分類正確性を顕著に向上させるか？
• RQ2 手動でコーディングされた訓練データ量が増加するにつれて、BERTの性能はどのように変化するか？
• RQ3 不均衡なデータセットにおける高頻度クラスに偏ってBERTの性能が影響を受けるか？
• RQ4 訓練データが限られている場合（例：100～400件）、SVM、ランダムフォレスト、XGBoostといった従来モデルと比較して、BERTの相対的優位性は何か？
• RQ5 計算的・実装上の課題があるにもかかわらず、BERTは社会学的研究における実用的展開が可能か？

主な発見

• 微調整によりBERTの分類正確性が10～20パーセンテージポイント向上し、競争力が生まれた。微調整を行わない場合、BERTは非事前学習モデルに劣っていた。
• 100件の訓練例しかない状況ではBERTの正確性は非事前学習モデルと同等だったが、データ量が増えるにつれて性能差が拡大し、200～400件の例を超えると顕著に優れた性能を示した。
• 低頻度クラスの性能に著しい劣化を来さずに、大多数のクラスで高い正確性を達成しており、クラス不均衡に対する頑健性が示された。
• マクロ正確性の結果から、BERTの優位性は支配的クラスに限定されず、全クラスにわたって一貫しており、多クラス設定における公平性が裏付けられた。
• 訓練データ量が増えるほど、BERTの相対的優位性が高まり、より大きなラベル付きデータセットが利用可能な場合に特に効果的であることが示された。
• 高い計算リソースとプログラミングの負荷があるものの、BERTは再現可能でスケーラブルな分類を提供する。これは特に大規模なアンケートデータセットや縦断的研究において貴重である。