[論文レビュー] Explaining Hate Speech Classification with Model Agnostic Methods

Durgesh Nandini, Ute Schmid|arXiv (Cornell University)|May 30, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、予測にBERTを、解釈可能性にLIMEを用いることで、嫌がらせ発言分類のためのモデルに依存しない後処理型の説明フレームワークを提案する。この手法は、分類性能を維持したまま影響力のあるテキスト特徴を効果的に同定できることを示しており、ソーシャルメディアのテキストにおけるモデル意思決定の透明性を高め、バイアスを低減する説明を提供する。

ABSTRACT

There have been remarkable breakthroughs in Machine Learning and Artificial Intelligence, notably in the areas of Natural Language Processing and Deep Learning. Additionally, hate speech detection in dialogues has been gaining popularity among Natural Language Processing researchers with the increased use of social media. However, as evidenced by the recent trends, the need for the dimensions of explainability and interpretability in AI models has been deeply realised. Taking note of the factors above, the research goal of this paper is to bridge the gap between hate speech prediction and the explanations generated by the system to support its decision. This has been achieved by first predicting the classification of a text and then providing a posthoc, model agnostic and surrogate interpretability approach for explainability and to prevent model bias. The bidirectional transformer model BERT has been used for prediction because of its state of the art efficiency over other Machine Learning models. The model agnostic algorithm LIME generates explanations for the output of a trained classifier and predicts the features that influence the model decision. The predictions generated from the model were evaluated manually, and after thorough evaluation, we observed that the model performs efficiently in predicting and explaining its prediction. Lastly, we suggest further directions for the expansion of the provided research work.

研究の動機と目的

• NLPにおける嫌がらせ発言予測とモデルの解釈可能性のギャップを埋めること。
• 嫌がらせ発言分類意思決定のための、後処理型でモデルに依存しない説明を提供すること。
• ソーシャルメディアのテキスト分析における説明可能性技術を通じて、モデルバイアスを低減すること。
• 手動評価を用いて説明の有効性を評価すること。
• 今後の解釈可能な嫌がらせ発言検出システムの拡張の基盤を築くこと。

提案手法

• ソーシャルメディアのテキストにおける嫌がらせ発言検出の主な分類器として、微調整されたBERTを用いる。
• 局所的でインスタンスレベルの説明を生成するため、モデルに依存しない説明手法としてLIMEを適用する。
• LIMEを用いて入力トークンを変更し、モデルの予測に影響を与える特徴を同定する。
• 変更されたサンプルにおける特徴の重要度スコアを分析することで、対応する反事後的説明を生成する。
• 説明の忠実性と関連性を評価するために、手動によるアノテーションによる評価を実施する。
• BERTの高い予測精度とLIMEの解釈可能性を統合し、透明な意思決定を実現する。

実験結果

リサーチクエスチョン

• RQ1 BERTが行う嫌がらせ発言予測を、モデルに依存しない手法（例：LIME）がどの程度効果的に説明できるか。
• RQ2 BERTの嫌がらせ発言分類意思決定において、どのテキスト的特徴が最も影響力を持つのか。
• RQ3 LIMEが生成する説明は、人間がアノテートした根拠とどの程度一致するか。
• RQ4 後処理型の説明手法は、嫌がらせ発言検出におけるモデルバイアスのリスクを低減できるか。
• RQ5 どのようにして、最新のNLPモデルに解釈可能性を体系的に統合できるか。

主な発見

• BERTベースの分類器は、ターゲットデータセットにおいて高い性能を示し、最先端の有効性を示した。
• LIMEは、モデルの予測に影響を与える意味的に関連のある語を強調する、局所的かつインスタンス固有の説明を効果的に生成した。
• 手動評価により、説明が忠実で意味のあるものであることが確認され、人間がアノテートした根拠と高い一致を示した。
• モデルに依存しないアプローチにより、BERT分類器のアーキテクチャを変更することなく解釈可能性が実現された。
• LIMEの統合により、透徹性が向上し、不透明またはバイアスのあるモデル意思決定のリスクが低減された。
• 高精度なモデルと後処理型の説明技術を組み合わせることの実現可能性が、倫理的なAI導入を支援するものである。