[論文レビュー] Estimating Confidence of Predictions of Individual Classifiers and Their Ensembles for the Genre Classification Task

Mikhail Lepekhin, Serge Sharoff|arXiv (Cornell University)|Jun 15, 2022

Authorship Attribution and Profiling被引用数 4

ひとこと要約

本稿では、テキストジャンル分類における個々の分類器およびアンサンブル分類器のロバストネスを評価・向上させるために、モンテカルロドロップアウトを用いた予測信頼度推定の手法を提案する。実験の結果、XLM-RoBERTaとロジスティック回帰モデルのアンサンブルが、正しく予測された場合と誤って予測された場合の信頼度の差（信頼度ギャップ）が著しく大きくなることが示され、特にデータセットシフトの条件下でもより信頼性が高く正確なジャンル分類が可能になることが明らかになった。

ABSTRACT

Genre identification is a subclass of non-topical text classification. The main difference between this task and topical classification is that genres, unlike topics, usually do not correspond to simple keywords, and thus they need to be defined in terms of their functions in communication. Neural models based on pre-trained transformers, such as BERT or XLM-RoBERTa, demonstrate SOTA results in many NLP tasks, including non-topical classification. However, in many cases, their downstream application to very large corpora, such as those extracted from social media, can lead to unreliable results because of dataset shifts, when some raw texts do not match the profile of the training set. To mitigate this problem, we experiment with individual models as well as with their ensembles. To evaluate the robustness of all models we use a prediction confidence metric, which estimates the reliability of a prediction in the absence of a gold standard label. We can evaluate robustness via the confidence gap between the correctly classified texts and the misclassified ones on a labeled test corpus, higher gaps make it easier to improve our confidence that our classifier made the right decision. Our results show that for all of the classifiers tested in this study, there is a confidence gap, but for the ensembles, the gap is bigger, meaning that ensembles are more robust than their individual models.

研究の動機と目的

• データセットシフトの影響を受ける状況、特に大規模なソーシャルメディアコーパスにおいて、テキストジャンル分類の信頼性を向上させること。
• モンテカルロドロップアウトに基づく信頼度メトリクスを用いて、個々の分類器およびそのアンサンブルのロバストネスを評価すること。
• アンサンブルモデルが個々のモデルよりも予測の信頼度および分類精度の面で優れているかどうかを検証すること。
• 低リソース環境およびドメイン外設定におけるモデルアーキテクチャとハイパーパrameterの影響がジャンル分類性能に及ぼす影響を評価すること。
• オープンセットジャンル分類において、信頼度しきい値を用いることが実用的かどうかを検討すること。

提案手法

• 推論時にドロップアウトを有効にした複数回の順方向伝搬から得られる不確実性に基づき、1 - 不確実性として定義される信頼度メトリクスを用いて予測信頼度を推定する。
• すべての層（埋め込み層および最終分類層を含む）にドロップアウト確率0.1を適用し、複数の確率分布を生成する。
• n個の確率分布を統合してプールド分布  p̂ を得る。ここで最大値が信頼度スコアとして用いられる。
• 最適なハイパーパrameterを前回の実験から得たものに基づき、XLM-RoBERTaおよびRuBERTをロシア語FTDコーパス上で微調整してジャンル分類を実行する。
• XLM-RoBERTa、RuBERT、およびロジスティック回帰分類器を組み合わせたアンサンブルを構築し、推論は平均化または投票によって実施する。
• ホールドアウトされたテストセット上でモデル性能を評価し、マン・ホイットニーU検定を用いて正しく分類された例と誤って分類された例の間の信頼度ギャップを測定する。

実験結果

リサーチクエスチョン

• RQ1 テキストジャンル分類において、個々の分類器とそのアンサンブルとの間で、正しく予測された場合と誤って予測された場合の信頼度ギャップに有意な差が生じるか？
• RQ2 データセットシフトの条件下でも、アンサンブルモデルが個々のモデルよりも高い分類精度とより信頼性の高い予測を達成できるか？
• RQ3 弱い分類器（例：ロジスティック回帰）をアンサンブルに含めることで、全体の性能および信頼度にどのような影響が生じるか？
• RQ4 異なるソーシャルメディアプラットフォーム間でジャンル分布がどの程度異なるか、そしてそれがモデルの一般化性能にどのように影響するか？
• RQ5 低信頼度の予測を除外することで、信頼度推定がオープンセットジャンル分類に有効に活用できるか？

主な発見

• アンサンブルモデルは、個々の分類器と比較して、正しく分類されたテキストと誤って分類されたテキストとの間で信頼度ギャップが著しく大きいことが一貫して確認され、より高いロバストネスを示している。
• ロジスティック回帰分類器を含むアンサンブルが、ほとんどのジャンルにおいて最高のf1スコアと信頼性の高い信頼度ギャップを達成しており、個々のモデルや他のアンサンブル構成よりも優れている。
• アンサンブルにロジスティック回帰分類器を追加することで、計算コストをほとんど増大させることなく、分類精度が著しく向上した。これは、軽量でありながら効果的なコンponentsとしての価値を示している。
• 信頼度メトリクスは、低信頼度の誤分類例を効果的に特定できており、オープンセット分類のシナリオにおける応用に適していることが裏付けられた。
• XLM-RoBERTaおよびRuBERTモデルはFTDコーパス上で高い精度を達成しており、BERTベースの微調整の最良実践法がロシア語および多言語設定にも適用可能であることが裏付けられた。
• カイ二乗検定の結果、ソーシャルメディアプラットフォーム間でジャンル分布に顕著な差が認められ（例：LiveJournalには議論的テキストが、VKには個人的レポートがより多い）、ドメインシフトの課題が明確になった。