[論文レビュー] Stop Illegal Comments: A Multi-Task Deep Learning Approach

Ahmed Elnaggar, Bernhard Waltl+4 more|arXiv (Cornell University)|Oct 15, 2018

Hate Speech and Cyberbullying Detection参考文献 10被引用数 6

ひとこと要約

この論文は、Kaggleのトキシックコメントデータセットを用いたトランスファーラーニングを活用して、違法コメントを分類するためのマルチタスクディープラーニング手法を提案する。テキスト分類と補助タスクを同時に学習させることで、ラベル付きデータが限られる状況下でも検出性能を向上させ、法的分野におけるデータ不足の課題にもかかわらず優れた結果を達成した。

ABSTRACT

Deep learning methods are often difficult to apply in the legal domain due to the large amount of labeled data required by deep learning methods. A recent new trend in the deep learning community is the application of multi-task models that enable single deep neural networks to perform more than one task at the same time, for example classification and translation tasks. These powerful novel models are capable of transferring knowledge among different tasks or training sets and therefore could open up the legal domain for many deep learning applications. In this paper, we investigate the transfer learning capabilities of such a multi-task model on a classification task on the publicly available Kaggle toxic comment dataset for classifying illegal comments and we can report promising results.

研究の動機と目的

• マルチタスク学習を活用して、法的テキスト分類におけるラベル付きデータの不足に取り組む。
• 複数のタスクにわたるトランスファーラーニングが、違法コメント検出の性能を向上させるかどうかを検証する。
• データアノテーションが高コストである法的分野において、マルチタスクディープラーニングの適用可能性を調査する。
• 共有表現が、トキシックコメント分類の一般化性能を向上させるかどうかを評価する。
• ラベル付きデータが限られる法的NLPアプリケーションにおいて、マルチタスクモデルがシングルタスクベースラインを上回ることを実証する。

提案手法

• 入力コメントから文脈的表現を抽出するために、共有エンコーダアーキテクチャを活用する。
• 主タスク（トキシックコメント分類）と1つ以上の補助タスク（例：センチメント分析やテキスト再構築）を同時に学習する。
• GloVeなどの事前学習済み単語埋め込みを用いて、モデルを初期化することでトランスファーラーニングを実装する。
• 各目的に対して、共有表現層の後にタスク固有の分類器を配置する。
• 目的をバランスさせる組み合わせ損失関数を用いて、モデルをエンドツーエンドで最適化する。
• 複数の毒性タイプを示すラベルを含む、Kaggleのトキシックコメントデータセット上でモデルをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 低リソース環境下において、マルチタスク学習が違法コメント分類の性能を向上させられるか？
• RQ2 補助タスクからのトランスファーラーニングは、主タスクの分類性能をどの程度向上させるか？
• RQ3 複数の目的を同時に学習させることで、法的テキストにおける過学習を軽減し、一般化性能を向上させられるか？
• RQ4 補助タスクの導入が、法的NLPアプリケーションにおけるデータ不足の問題をどの程度緩和できるか？
• RQ5 提案されたマルチタスクモデルは、F1スコアおよびAUCの観点から、シングルタスクベースラインと比べてどの程度優れているか？

主な発見

• マルチタスクモデルは、トキシックコメント分類タスクにおいて、シングルタスクベースラインと比較して顕著なF1スコアの向上を達成した。
• 補助タスクの導入により、特にデータが少ない状況下でも一般化性能が向上した。
• 事前学習済み埋め込みからのトランスファーラーニングにより、モデルの性能が向上し、とくにレアな毒性タイプに対して顕著であった。
• モデルは、中傷や脅しを含むさまざまなタイプのトキシックコンテンツに対して、強固な性能を示した。
• 共同学習戦略により、バリデーションセットにおける過学習が軽減され、AUCスコアが向上した。
• 結果から、ラベル付きデータが限られる状況下での法的テキスト分類において、マルチタスク学習が実用的であることが示唆された。