[논문 리뷰] How to Write a Bias Statement: Recommendations for Submissions to the Workshop on Gender Bias in NLP

Christian Hardmeier, Marta R. Costa‐jussà외 3명|arXiv (Cornell University)|2021. 04. 07.

Hate Speech and Cyberbullying Detection인용 수 4

한 줄 요약

이 논문은 NLP 연구에서 편향 성명서를 작성하기 위한 실천가능한 지침을 제공하며, 사회적 영향과 관련된 규범적 가정과 손해 유형(예: 자원 배분적 손해 및 대표성 손해)을 명시적으로 논의할 것을 강조한다. 연구는 편향의 정의와 그 실제 세계적 영향에 대한 비판적 성찰을 주장하며, 성별 편향 연구에서 투명성과 책임성을 높이기 위해 구체적 사례를 사용하여 편향 성명서가 어떻게 기여할 수 있는지 설명한다.

ABSTRACT

At the Workshop on Gender Bias in NLP (GeBNLP), we'd like to encourage authors to give explicit consideration to the wider aspects of bias and its social implications. For the 2020 edition of the workshop, we therefore requested that all authors include an explicit bias statement in their work to clarify how their work relates to the social context in which NLP systems are used. The programme committee of the workshops included a number of reviewers with a background in the humanities and social sciences, in addition to NLP experts doing the bulk of the reviewing. Each paper was assigned one of those reviewers, and they were asked to pay specific attention to the provided bias statements in their reviews. This initiative was well received by the authors who submitted papers to the workshop, several of whom said they received useful suggestions and literature hints from the bias reviewers. We are therefore planning to keep this feature of the review process in future editions of the workshop.

연구 동기 및 목표

• NLP 연구자들이 자신의 연구에서 편향의 사회적 및 윤리적 영향을 명시적으로 다루도록 유도하기 위해.
• 연구자가 자신의 연구가 실제 세계의 손해와 사회적 가치와 어떻게 관련되어 있는지 체계적으로 서술할 수 있도록 구조화된 프레임워크를 제공하기 위해.
• 편향의 정의와 그 정의의 한계가 체계적 불평등을 포괄하지 못할 수 있음을 비판적으로 성찰하도록 장려하기 위해.
• 사회과학 및 인문학 전문 리뷰어를 배정하여 편향 성명서의 규범적 타당성과 맥락적 타당성을 평가함으로써 피어 리뷰를 지원하기 위해.
• 특히 GeBNLP에서 NLP 워크숍에 편향 성명서를 표준 절차로 정착시켜 연구의 책임성을 향상시키기 위해.

제안 방법

• GeBNLP와 같은 워크숍을 중심으로 NLP 제출물에 대한 표준화된 편향 성명서 양식을 제안하기 위해.
• Blodgett 등(2020)의 연구에서 유래한 자원 배분적 손해와 대표성 손해로 손해 유형을 분류하기 위해.
• 특정 행동이 왜 해로운 것으로 간주되는지 규범적 가치와 사회적 영향에 근거해 명시적으로 정당화하도록 저자들을 장려하기 위해.
• 편향의 정의에 명확성을 기르기 위해, 선택된 정의의 한계와 잠재적 배제 요소를 포함하여 정의의 명확성을 제고하기 위해.
• 사회과학 및 인문학 전문 리뷰어를 할당하여 피어 리뷰 과정에 편향 성명서 평가를 통합하기 위해.
• 실제 사례를 사용하여 편향 성명서가 NLP 시스템의 사회적 영향을 어떻게 명확히 할 수 있는지 설명하기 위해.

실험 결과

연구 질문

• RQ1 NLP 연구자들은 자신의 연구에서 편향의 사회적 및 윤리적 영향을 어떻게 더 잘 서술할 수 있는가?
• RQ2 성별 편향이 NLP 시스템에 영향을 미칠 때, 자원 배분적 손해 또는 대표성 손해 중 어떤 손해 유형이 더 관련성이 있는가?
• RQ3 편향의 정의에 내재된 규범적 가정은 어떻게 명시적이고 비판적으로 검토될 수 있는가?
• RQ4 편향 성명서는 NLP 연구의 투명성과 책임성을 어떻게 향상시킬 수 있는가?
• RQ5 피어 리뷰 과정은 편향 성명서의 품질과 깊이를 평가하기 위해 어떻게 개선될 수 있는가?

주요 결과

• 편향 성명서는 손해와 공정성에 대한 규범적 가정을 명시적으로 드러내어 더 투명하고 책임감 있는 연구를 가능하게 한다.
• 자원 배분적 손해는 시스템이 사회 집단 간에 자원이나 기회를 불공정하게 배분할 때 발생하며, 예를 들어 성별에 기반한 채용 도구에서 나타난다.
• 대표성 손해는 시스템이 특정 사회 집단을 잘못 대표하거나 성별을 잘못 기재하거나 무시할 때 발생하며, 비이성적 또는 트랜스젠더 개인과 같은 집단에서 나타난다.
• 편향을 해로움으로서 정의하기 위해서는 해당 정의가 모든 관련 불평등을 포괄하는지 아니면 체계적 불평등을 간과하는지에 대한 비판적 성찰이 필요하다.
• 피어 리뷰에 편향 성명서를 포함시킨 결과, 유용한 피드백과 문헌 제안이 이어져 연구 품질 향상에 기여함을 시사한다.
• 이 이니셔티브는 저자들 사이에서 긍정적으로 평가되었으며, 향후 GeBNLP 워크숍에서 계속 사용될 예정이다.