[논문 리뷰] Beyond Fair Pay: Ethical Implications of NLP Crowdsourcing

Boaz Shmueli, Jan Fell외 2명|arXiv (Cornell University)|2021. 04. 20.

Mobile Crowdsensing and Crowdsourcing참고 문헌 38인용 수 11

한 줄 요약

이 논문은 NLP 군중화 작업의 윤리적 고려사항이 공정한 보상을 넘어서 심리적 피해, 개인정보 유출, 신원 노출 등의 위험을 포함한다고 주장한다. 연구는 벨모어 보고서의 원칙인 존중, 선의, 정의를 적용하여 군중화된 NLP 작업의 윤리적 위험을 평가하고, 기관 심의위원회(IRB)의 검토와 공동체 차원의 윤리 교육을 통해 책임감 있는 연구 관행을 확보할 것을 촉구한다.

ABSTRACT

The use of crowdworkers in NLP research is growing rapidly, in tandem with the exponential increase in research production in machine learning and AI. Ethical discussion regarding the use of crowdworkers within the NLP research community is typically confined in scope to issues related to labor conditions such as fair pay. We draw attention to the lack of ethical considerations related to the various tasks performed by workers, including labeling, evaluation, and production. We find that the Final Rule, the common ethical framework used by researchers, did not anticipate the use of online crowdsourcing platforms for data collection, resulting in gaps between the spirit and practice of human-subjects ethics in NLP research. We enumerate common scenarios where crowdworkers performing NLP tasks are at risk of harm. We thus recommend that researchers evaluate these risks by considering the three ethical principles set up by the Belmont Report. We also clarify some common misconceptions regarding the Institutional Review Board (IRB) application. We hope this paper will serve to reopen the discussion within our community regarding the ethical use of crowdworkers.

연구 동기 및 목표

• NLP 군중화 작업에서 윤리적 고려사항이 공정한 보상 외에도 심리적 피해, 개인정보 침해, 신원 노출을 포함함을 강조하기 위해.
• 최종 규칙과 기존의 IRB 프레임워크가 MTurk와 같은 현대 군중화 플랫폼에 부적절하다는 것을 입증하기 위해.
• 군중화 연구에서 IRB 요구사항과 '인간 대상'의 정의에 대한 오해를 명확히 하기 위해.
• 벨모어 보고서에 기반한 윤리적 위험 평가를 NLP 연구 관행에 통합할 것을 주장하기 위해.
• NLP 연구자들을 위한 공동체 기반 윤리 가이드라인과 교육 자료 개발을 촉진하기 위해.

제안 방법

• 2015~2020년 동안 ACL, EMNLP, NAACL에서 발표된 6,776편의 NLP 논문을 분석하여 군중화 사용 및 IRB/윤리 보고 여부를 평가하기 위해.
• 군중화된 NLP 작업에서 흔히 발생하는 윤리적 위험, 예를 들어 게임화로 인한 심리적 피해와 작업자 식별자에 의한 개인정보 노출을 특정하기 위해.
• 벨모어 보고서의 세 가지 윤리 원칙인 존중, 선의, 정의를 기반으로 위험 평가의 프레임워크로 적용하기 위해.
• 군중화 플랫폼이 자동으로 데이터를 수집하는 맥락에서 '인간 대상'의 정의를 재고하기 위해.
• 컨ferencing 가이드라인(예: NAACL 2020)에 부합하는 윤리적 고려사항 섹션을 NLP 논문에 포함할 것을 권고하기 위해.
• NLP 군중화에 특화된 체크리스트, 사례 연구, 가이드라인을 포함한 공동체 기반 윤리 자원 구축을 제안하기 위해.

실험 결과

연구 질문

• RQ1 NLP 연구자들은 군중화 노동자 사용 시 공정한 보상 외의 윤리적 위험을 어느 정도 인정하고 있는가?
• RQ2 현재의 IRB 프레임워크는 현대 군중화된 NLP 연구에 부적절한 이유는 무엇인가?
• RQ3 벨모어 보고서의 윤리 원칙은 어떻게 NLP 군중화 작업의 위험 평가에 적용될 수 있는가?
• RQ4 군중화된 NLP 작업에서 심리적 피해와 개인정보 유출의 구체적 위험은 무엇인가?
• RQ5 NLP 연구 공동체는 군중화를 위한 표준화된 윤리 가이드라인을 어떻게 개발하고 채택할 수 있는가?

주요 결과

• 군중화를 사용한 NLP 논문 중 17%만이 IRB 심사나 면제를 언급하여, 공식적인 윤리적 감시의 부재가 광범위하게 존재함을 시사한다.
• NLP 논문의 10%가 군중화 작업을 사용하고 있음에도 불구하고, 그 중 7%만이 보상에 대해 명시적으로 언급하여, 근로 조건 보고의 일관성 부족을 보여준다.
• MTurk와 같은 플랫폼의 작업자 식별자는 외부 검색을 통해 개인 정보와 연결될 수 있어, 연구자의 의도와는 무관하게 신원 노출 위험이 존재한다.
• MTurk와 같은 플랫폼에서의 게임화된 작업은 도파민 기반 보상 메커니즘으로 인해 중독성 행동을 유발할 수 있어 심리적 위험이 존재한다.
• 군중화에서 작업자 익명성에 대한 가정은 잘못되었으며, 플랫폼이 연구자 통제 외부에서 개인 데이터를 수집하고 연결하기 때문이다.
• 현재의 IRB 시스템은 기관의 행정적 지연으로 인해 산업 소속 연구자보다 학술 연구자에게 불리한 격차를 초래할 수 있다.