[論文レビュー] A Legal Approach to Hate Speech: Operationalizing the EU's Legal Framework against the Expression of Hatred as an NLP Task

Frederike Zufall, Marius Hamacher+2 more|arXiv (Cornell University)|Apr 7, 2020

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本論文は、EU枠組み意思決定2008/913/JHAを2段階のNLPタスクに具体化することで、嫌がらせ発言検出のための法的アプローチを提案する。具体的には、標的となる団体と標的となる行動を特定する。複雑な法的判断を単純化され、説明可能な部分タスクに分解することで、エンドツーエンドモデルに比べて高い正確性と透明性を達成し、自動化された嫌がらせ発言管理のための信頼性があり、法的根拠に基づいたフレームワークを提供する。

ABSTRACT

We propose a 'legal approach' to hate speech detection by operationalization of the decision as to whether a post is subject to criminal law into an NLP task. Comparing existing regulatory regimes for hate speech, we base our investigation on the European Union's framework as it provides a widely applicable legal minimum standard. Accurately judging whether a post is punishable or not usually requires legal training. We show that, by breaking the legal assessment down into a series of simpler sub-decisions, even laypersons can annotate consistently. Based on a newly annotated dataset, our experiments show that directly learning an automated model of punishable content is challenging. However, learning the two sub-tasks of `target group' and `targeting conduct' instead of an end-to-end approach to punishability yields better results. Overall, our method also provides decisions that are more transparent than those of end-to-end models, which is a crucial point in legal decision-making.

研究の動機と目的

• NLPにおける一貫性の欠如する嫌がらせ発言の定義に取り組むため、検出を拘束力のある法的枠組みに根拠を置く。
• EU枠組み意思決定2008/913/JHAを、機械学習に適した構造的かつアノテーション可能なNLPタスクに具体化する。
• エンドツーエンドモデルのブラックボックスを避けるために、モジュラーで法的要件を満たす部分タスクに置き換えることで、自動化された嫌がらせ発言検出における透明性と説明可能性を向上させる。
• 直接的に『処罰可能性』を学習することは、『標的団体』と『標的となる行動』を別々の部分タスクとして学習するよりも効果が低いことを示す。
• GDPRおよび基本的権利への準拠を重視し、人的監視を強調することで、倫理的な展開を確保する。

提案手法

• EU枠組み意思決定2008/913/JHAの法的枠組みを、二値の意思決定ステップに分解する：投稿が保護団体を標的にしているかどうか、および憎悪や暴力への扇動を含んでいるかどうか。
• 訓練を受けた一般市民が、EUの法的基準に基づいた構造化されたアノテーションスキームを用いて、新しいデータセットをアノテートする。これにより、アノテーター間の一貫性が保証される。
• 検出タスクを2つの部分タスクに分離する：(1) 標的団体（例：ムスリム、LGBTQ+、女性）の特定、(2) 悪意ある行動（例：憎悪や暴力への扇動）の検出。
• 2段階モデルを訓練する：最初に団体検出を行い、次に行動検出を行う。最終的な処罰可能性の判断は、両方の出力の組み合わせから導出される。
• エンドツーエンドモデルがブラックボックスとして機能するのとは対照的に、推論プロセスを追跡可能にするという点で透明性を強調する。
• データセットは匿名化された形で公開されるが、GDPR準拠のため、実際の投稿は非公開とされ、研究用に合成例が公開される。

実験結果

リサーチクエスチョン

• RQ1 EU枠組み意思決定2008/913/JHAは、嫌がらせ発言検出のための信頼性があり、機械可読なNLPタスクに具体化可能か？
• RQ2 『処罰可能性』をエンドツーエンドタスクとして直接学習することは、『標的団体』と『標的となる行動』を部分タスクに分解して学習するのと比べて効果的か？
• RQ3 一般市民が構造化されたアノテーションスキームを用いて、EU枠組み意思決定の法的基準を一貫して適用できるか？
• RQ4 団体と行動検出のモジュラーアプローチは、エンドツーエンドモデルに比べて、より高いモデル性能とより高い透明性をもたらすか？
• RQ5 嫌がらせ発言検出のNLPシステムは、特に表現の自由といった基本的権利を尊重しながら、法的遵守と倫理的展開を確保するようにどのように設計できるか？

主な発見

• 処罰可能性を直接エンドツーエンドで学習することは困難であり、性能が最適でないことが示され、法的意思決定プロセスが直接モデル化するには複雑すぎる。
• 『標的団体』と『標的となる行動』という2つの部分タスクを別々に学習することで、統合的なエンドツーエンド学習に比べて著しく高い性能が得られる。
• アノテーションスキームにより、一般市民が一貫した法的判断を下すことができ、法的推論が構造的で再現可能なかたちのNLPタスクに具体化可能であることが実証された。
• モジュラーなアプローチは透明性と説明可能性を高め、検察官などの法的関係者がモデルの意思決定を理解し、検証しやすくなる。
• ブラックボックスの代替手段に比べ、モデルの出力はより解釈可能であり、これは表現の自由といった基本的権利に影響を及える可能性のあるシステムにとって不可欠である。
• データセットは、機微な個人データを含むが、匿名化された形で公開され、合成例が提供されることでGDPR準拠と倫理的データ利用が確保されている。