[論文レビュー] Hollywood Identity Bias Dataset: A Context Oriented Bias Analysis of Movie Dialogues

Sandhya Singh, Prapti Roy+9 more|arXiv (Cornell University)|May 31, 2022

Authorship Attribution and Profiling被引用数 4

ひとこと要約

本論文では、7つのアイデンティティバイアスカテゴリ—性別、人種/民族、宗教、年齢、職業、LGBTQ、その他のバイアス—に加え、感受性、感情、感情の強度、根拠を含む、文脈に配慮した対話レベルの、35本のハリウッド映画の脚本を対象とした新規で文脈に配慮した「ハリウッドアイデンティティバイアスデータセット（HIBD）」を紹介する。このデータセットには49,117文が含まれ、うち1,181件（2.5%の歪み）がバイアスありとアノテートされており、熟練者による検証が施された文脈豊かなアノテーションにより、高精度なバイアス検出が可能となり、脚本作成におけるAI駆動のバイアス低減の基盤を築く。

ABSTRACT

Movies reflect society and also hold power to transform opinions. Social biases and stereotypes present in movies can cause extensive damage due to their reach. These biases are not always found to be the need of storyline but can creep in as the author's bias. Movie production houses would prefer to ascertain that the bias present in a script is the story's demand. Today, when deep learning models can give human-level accuracy in multiple tasks, having an AI solution to identify the biases present in the script at the writing stage can help them avoid the inconvenience of stalled release, lawsuits, etc. Since AI solutions are data intensive and there exists no domain specific data to address the problem of biases in scripts, we introduce a new dataset of movie scripts that are annotated for identity bias. The dataset contains dialogue turns annotated for (i) bias labels for seven categories, viz., gender, race/ethnicity, religion, age, occupation, LGBTQ, and other, which contains biases like body shaming, personality bias, etc. (ii) labels for sensitivity, stereotype, sentiment, emotion, emotion intensity, (iii) all labels annotated with context awareness, (iv) target groups and reason for bias labels and (v) expert-driven group-validation process for high quality annotations. We also report various baseline performances for bias identification and category detection on our dataset.

研究の動機と目的

• 映画の脚本、特に対話レベルにおいて社会的バイアスを特定するためのドメイン特化型で文脈に配慮したデータセットの不足に対処すること。
• 脚本開発段階でのバイアス検出を可能にすることで、映画における問題発生や有害なコンテンツのリスクを低減すること。
• 生産段階以前にアイデンティティベースのバイアス（例：性別、人種、LGBTQ）を特定できるAIモデルの開発を支援することにより、法的および評判的リスクを低減すること。
• バイアスの有無だけでなく、その性質（明示的／暗黙的）、標的グループ、根拠を捉える高品質で熟練者による検証済みのアノテーションフレームワークを提供すること。
• 多様で現実世界のデータセットを用いて、映画対話におけるバイアス検出およびカテゴリ分類のベンチマークを確立すること。

提案手法

• データセットは35本のハリウッド映画の脚本から構築され、7つのアイデンティティバイアスカテゴリ（性別、人種／民族、宗教、年齢、職業、LGBTQ、その他）について、対話の単位（文単位）でアノテートされた。
• 各バイアスは明示的または暗黙的とラベル付けされ、バイアスアノテーションの根拠として、標的グループと根拠が記録され、文脈の理解と解釈可能性を確保した。
• さらに、感受性、感情（肯定／否定）、感情、感情の強度についての追加アノテーションが施され、各発話の文脈的解釈を豊かにした。
• 熟練者によるマルチステージの検証プロセスが採用され、分野の専門家とNLPスペシャリストが関与し、高品質で一貫性のあるアノテーションを確保した。
• BERTやRoBERTaといった最先端のNLPアーキテクチャを用い、アノテート済みデータで微調整された、バイアス同定およびカテゴリ検出のためのベースラインモデルを訓練した。
• クラスの不均衡に配慮したデータセットのキュレートが行われ、バイアス出現率が2.5％（49,117文中1,181文）であることを踏まえ、バイアス検出モデルの堅牢な評価を可能にした。

実験結果

リサーチクエスチョン

• RQ1 ハリウッド映画の対話においてアイデンティティベースのバイアスはどれほど広がっており、その主な形態とカテゴリは何か？
• RQ2 文脈に配慮したアノテーションは、映画対話におけるバイアス検出の正確性と解釈可能性をどの程度向上させるか？
• RQ3 明示的バイアスと暗黙的バイアスは、アイデンティティカテゴリごとに、言語的マーカーと標的グループの表現においてどのように異なるか？
• RQ4 微調整されたディープラーニングモデルは、この新規データセットを用いて、映画の脚本におけるアイデンティティバイアス検出で人間の性能に達することができるか？
• RQ5 感情、感情の強度、根拠を含むマルチラベルで文脈豊かなアノテーションは、バイアス検出性能にどのような影響を与えるか？

主な発見

• ハリウッドアイデンティティバイアスデータセット（HIBD）には、35本のハリウッド映画の脚本から抽出された49,117文の対話が含まれ、うち1,181件（2.5％）がバイアスありとアノテートされており、バイアス検出におけるデータの歪みの課題を浮き彫りにしている。
• このデータセットは、性別、人種／民族、宗教、年齢、職業、LGBTQ、その他という7つのアイデンティティカテゴリにわたるバイアスを捉えており、身体的バッシングや性格に関するバイアスといった形態を含む。
• 各バイアスアノテーションには、明示的／暗黙的のラベル、標的グループの特定、根拠が含まれており、文脈に配慮した解釈可能な分析が可能である。
• 感情、感情の強度、根拠のアノテーションを備えることで、マルチタスク学習が可能となり、文脈的解釈の豊かさが向上した。
• HIBDで微調整されたベースラインモデルは、バイアス検出およびカテゴリ分類において競争力のある性能を示しており、NLPシステムの学習および評価に向けた本データセットの有効性を示している。
• 熟練者による検証アノテーションパイプラインのおかげで、高品質で信頼性の高いデータが得られ、HIBDは今後の映画テキストにおけるバイアス検出研究の信頼できるベンチマークとなっている。