[論文レビュー] How to Write a Bias Statement: Recommendations for Submissions to the Workshop on Gender Bias in NLP

Christian Hardmeier, Marta R. Costa‐jussà+3 more|arXiv (Cornell University)|Apr 7, 2021

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

本論文は、NLP研究におけるバイアスステートメントの作成に関する実行可能なガイドラインを提供し、社会的影響に関連する規範的仮定や、割り当て的・表象的被害といった種類の被害を明確に議論することを強調している。実際の事例を用いて、バイアスステートメントがNLPワークショップにおけるジェンダーバイアス研究の透明性と説得力の向上にどのように寄与するかを示している。

ABSTRACT

At the Workshop on Gender Bias in NLP (GeBNLP), we'd like to encourage authors to give explicit consideration to the wider aspects of bias and its social implications. For the 2020 edition of the workshop, we therefore requested that all authors include an explicit bias statement in their work to clarify how their work relates to the social context in which NLP systems are used. The programme committee of the workshops included a number of reviewers with a background in the humanities and social sciences, in addition to NLP experts doing the bulk of the reviewing. Each paper was assigned one of those reviewers, and they were asked to pay specific attention to the provided bias statements in their reviews. This initiative was well received by the authors who submitted papers to the workshop, several of whom said they received useful suggestions and literature hints from the bias reviewers. We are therefore planning to keep this feature of the review process in future editions of the workshop.

研究の動機と目的

• NLP研究者が自身の研究におけるバイアスの社会的・倫理的影響を明確に扱うよう促すこと。
• 研究者が自身の研究が現実の被害や社会的価値とどのように関係するかを明確に記述するための構造的フレームワークを提供すること。
• バイアスの定義とその限界について、システム的不平等を十分に捉えていない可能性を含め、批判的検討を促すこと。
• 社会学・人文学の専門知識を持つレビュアーを割り当てることで、バイアスステートメントの規範的・文脈的妥当性を評価するプロセスを統合し、ピアレビューを支援すること。
• GeBNLPを含むNLPワークショップにおいて、バイアスステートメントを標準的慣習として定着させ、研究の説得力を高めること。

提案手法

• GeBNLPなどのワークショップを想定し、NLP提出物におけるバイアスステートメントの標準化フォーマットを提案すること。
• Blodgettら（2020）に従い、被害の種類を割り当て的被害と表象的被害に分類すること。
• 特定の行動がなぜ有害とされるかを、規範的価値と社会的影響に基づいて明確に正当化するよう研究者を奨励すること。
• バイアスの定義を明確にし、その定義の限界や潜在的な除外事項を明示することを提唱すること。
• 社会学・人文学の専門知識を持つレビュアーを割り当てることで、ピアレビュー過程にバイアスステートメントのレビューを統合すること。
• 実際の事例を用いて、バイアスステートメントがNLPシステムの社会的影響をどのように明確にするかを説明すること。

実験結果

リサーチクエスチョン

• RQ1 NLP研究者は、自身の研究におけるバイアスの社会的・倫理的影響をどのようにより明確に表現できるか？
• RQ2 ジェンダーバイアスを含むNLPシステムにおいて、割り当て的被害と表象的被害のどちらがより関連性が高いか？
• RQ3 バイアスの定義に内在する規範的仮定をどのように明示し、批判的に検討できるか？
• RQ4 バイアスステートメントは、NLP研究の透明性と説得力をどのように向上させられるか？
• RQ5 ピアレビュープロセスは、バイアスステートメントの質と深さをどのように評価できるように適合できるか？

主な発見

• バイアスステートメントは、被害や公平性に関する規範的仮定を明確にすることで、より透明で説得力のある研究を可能にする。
• 割り当て的被害とは、性別に基づく採用ツールなど、社会的グループ間で資源や機会を不平等に配分するシステムによって生じる被害である。
• 表象的被害とは、特定の社会的グループ（例：非二元性やトランスジェンダーの人々）を誤って表したり、誤認したり、抹消したりするシステムによって生じる被害である。
• バイアスを「有害」と定義するには、その定義がすべての関連する不正を捉えているか、あるいはシステム的不平等を無視しているかについて、批判的検討が必要である。
• ピアレビューにバイアスステートメントを組み込むことで、有益なフィードバックや文献の提案が得られ、研究の質が向上する価値があることが示された。
• 本提言は研究者から好意的に受け入れられ、今後のGeBNLPワークショップでも継続して使用される予定である。