[논문 리뷰] But Who Protects the Moderators? The Case of Crowdsourced Image Moderation

Brandon Dang, Martin Riedl외 1명|arXiv (Cornell University)|2018. 04. 29.

Hate Speech and Cyberbullying Detection참고 문헌 29인용 수 26

한 줄 요약

이 연구는 그래픽한 온라인 콘텐츠를 검열하는 데 노출되는 컨텐츠 모더레이터의 정서적 피해를 줄이기 위해 이미지 흐림 처리를 적용할 경우 정확도를 유지하면서도 심리적 피해를 줄일 수 있는지 조사한다. 아마존 메카니컬 터크(AMT)를 활용해 연구자들은 블러 수준(σ = 0, 7, 14)과 상호작용 가능한 흐림 해제 도구를 테스트하였으며, 중간 정도의 블러 처리가 분류 정확도를 유지하면서도 정서적 고통을 줄이며, 작업자들이 이미지 노출을 제어할 수 있도록 하면 사용성과 정서적 복지가 향상됨을 발견하였다.

ABSTRACT

Though detection systems have been developed to identify obscene content such as pornography and violence, artificial intelligence is simply not good enough to fully automate this task yet. Due to the need for manual verification, social media companies may hire internal reviewers, contract specialized workers from third parties, or outsource to online labor markets for the purpose of commercial content moderation. These content moderators are often fully exposed to extreme content and may suffer lasting psychological and emotional damage. In this work, we aim to alleviate this problem by investigating the following question: How can we reveal the minimum amount of information to a human reviewer such that an objectionable image can still be correctly identified? We design and conduct experiments in which blurred graphic and non-graphic images are filtered by human moderators on Amazon Mechanical Turk (AMT). We observe how obfuscation affects the moderation experience with respect to image classification accuracy, interface usability, and worker emotional well-being.

연구 동기 및 목표

• 그래픽한 온라인 콘텐츠에 노출되는 컨텐츠 모더레이터의 정서적 피해를 줄이기 위해.
• 이미지 흐림 처리를 통해 시각적 정보 노출를 최소화할 경우 모더레이션 정확도를 유지할 수 있는지 조사하기 위해.
• 상호작용 가능한 흐림 해제 도구가 작업자 통제력, 사용성 및 정서적 복지에 미치는 영향을 평가하기 위해.
• 성별, 인종, 연령 등의 사회적 인구통계적 요인이 모더레이션 성과와 정서 반응에 미치는 영향을 평가하기 위해.
• 인간 리뷰어의 작업 조건을 개선하면서도 콘텐츠 모더레이션 정확도를 유지하는 시스템을 설계하기 위해.

제안 방법

• AMT에서 6단계로 구성된 실험을 실시함: 흐림 처리되지 않은 기준 조건, σ = 7 및 σ = 14에서의 가우시안 블러, 그리고 상호작용 가능한 흐림 해제 기능이 포함된 3단계.
• 표준 편차 σ ∈ {0, 7, 14}를 사용한 가우시안 블러를 적용하여 시각적 세부 정보를 점진적으로 감소시키면서도 이미지의 식별 가능성을 유지함.
• 세 가지 상호작용 가능한 흐림 해제 메커니즘을 구현함: 클릭 시 노출, 마우스 올리기 시 일시적 해제, 슬라이딩 바를 통한 블러 수준 동적 조절.
• 분류 정확도, 정서 상태 설문조사, SPANE, PANAS 및 TAM 기반 척도를 사용한 사용성 인식 데이터를 수집함.
• 긍정/부정 정서, 정서적 고갈, 인터페이스의 유용성 및 사용 용이성에 대한 표준화된 설문지를 시행함.
• 인간 참가자 연구의 윤리 기준을 확보하기 위해 IRB 승인(사건 번호 2018-01-0004)을 획득하여 연구를 설계함.

실험 결과

연구 질문

• RQ1 이미지 블러 수준을 높일수록 AMT에서 인간 기반 콘텐츠 모더레이션의 정확도에 어떤 영향을 미치는가?
• RQ2 클릭, 호버, 슬라이더 등의 상호작용 가능한 흐림 해제 도구가 모더레이션 정확도와 작업자 통제력에 어떤 영향을 미치는가?
• RQ3 이미지 가림 처리가 작업자들의 정서적 복지와 정서적 고갈 감지에 어떤 영향을 미치는가?
• RQ4 성별, 인종, 연령 등의 인구통계적 요소가 모더레이션 성과와 정서 반응에 어떤 영향을 미치는가?
• RQ5 작업자들이 블러 처리된 인터페이스를 얼마나 유용하고 사용하기 쉬운 것으로 인식하는가?

주요 결과

• 중간 정도의 블러 처리(σ = 14)가 비표준적인 콘텐츠에 대해 높은 분류 정확도를 유지함을 확인하여, 정확한 모더레이션 결정을 내리기 위해 상당한 시각적 세부 정보가 필수적이지 않음을 시사함.
• 클릭, 호버, 슬라이더 등의 상호작용 가능한 흐림 해제 기능을 통해 작업자들은 그래픽 콘텐츠에 대한 초기 노출을 줄이면서도 높은 정확도를 유지할 수 있었음.
• 특히 σ = 14일 경우 작업자들이 부정적 정서와 정서적 고갈 수준을 낮게 보고하였으며, 이는 정서적 복지 향상을 시사함.
• 흐림 해제 도구가 포함될수록 인터페이스의 유용성과 사용 용이성이 향상되었으며, 이는 시각적 노출에 대한 통제력이 사용성 향상에 기여함을 시사함.
• 설문 조사 결과, 작업자들은 이 업무가 전 직무일 경우 더 높은 정서적 고갈을 경험할 것으로 예상함을 드러내어, 필터링되지 않은 콘텐츠 모더레이션의 정서적 영향을 강조함.
• 이 연구는 블러 처리를 통해 시각적 정보를 줄이고 사용자 통제 기능을 결합함으로써 모더레이터를 보호하면서도 모더레이션 품질을 희생시키지 않는 전략이 타당함을 입증함.