[논문 리뷰] Is ChatGPT better than Human Annotators? Potential and Limitations of ChatGPT in Explaining Implicit Hate Speech

Huang Fan, Haewoon Kwak외 1명|arXiv (Cornell University)|2023. 02. 11.

Hate Speech and Cyberbullying Detection인용 수 28

한 줄 요약

본 논문은 암묵적 혐오 발언을 탐지하고 자연어 설명을 생성하는 데 있어 ChatGPT를 평가하고, 인간 주석 데이터세트와의 일치도가 80%이며 ChatGPT의 설명이 인간의 설명보다 더 명확하고, 정보량은 비슷하다고 밝혔다.

ABSTRACT

Recent studies have alarmed that many online hate speeches are implicit. With its subtle nature, the explainability of the detection of such hateful speech has been a challenging problem. In this work, we examine whether ChatGPT can be used for providing natural language explanations (NLEs) for implicit hateful speech detection. We design our prompt to elicit concise ChatGPT-generated NLEs and conduct user studies to evaluate their qualities by comparison with human-written NLEs. We discuss the potential and limitations of ChatGPT in the context of implicit hateful speech research.

연구 동기 및 목표

• ChatGPT가 암묵적 혐오 트윗을 인간과 얼마나 효과적으로 탐지할 수 있는지 평가한다.
• 암묵적 혐오 발언에 대한 ChatGPT 생성 자연어 설명의 품질을 평가한다.
• ChatGPT 설명과 인간이 작성한 설명을 정보량과 명료성 측면에서 비교한다.

제안 방법

• 6,358개의 암묵적 혐오 트윗을 테스트베드로 사용하는 LatentHatred 데이터셋을 이용한다.
• 특정 프롬프트를 사용해 트윗당 세 가지 ChatGPT 응답을 생성하고 +1/0/-1 점수를 평균화하여 ChatGPT 혐오 점수를 도출한다.
• 3가지 맥락(게시물만, 게시물+인간 NLE, 게시물+ChatGPT NLE)에서 ChatGPT 분류와 NLE를 비교하기 위해 MTurk 기반의 인간 평가를 수행한다.
• 7점 척도에서 정보량(Informativeness)과 명료성(Clarity) 지표를 사용해 NLE 품질을 평가한다.
• 동의 여부와 편향 가능성을 평가하기 위해 ChatGPT 결과를 인간 주석과 비교한다.

실험 결과

연구 질문

• RQ1 RQ1: ChatGPT가 암묵적 혐오 트윗을 잘 탐지할 수 있는가?
• RQ2 RQ2: ChatGPT가 암묵적 혐오 발언에 대해 질 높은 자연어 설명을 생성하는가?

주요 결과

• ChatGPT는 795개의 암묵적 혐오 트윗 중 636개를 정확히 식별하여 LatentHatred 라벨과의 일치도가 80%이다.
• 게시물만 주어졌을 때 ChatGPT는 평균 혐오도 점수가 -0.41을, ChatGPT가 생성한 NLE를 제공했을 때는 -0.52를 나타내며, 일반인들이 트윗을 비혐오적이라고 판단하는 경향이 있으며 NLE가 판단에 영향을 준다.
• 사람이 작성한 NLE를 제공하면 평균 점수가 0.29로 증가하며, 인간 설명은 판단을 바꿀 수 있지만 전반적으로 ChatGPT의 설명만큼 설득력이 강하지 않다.
• ChatGPT가 생성한 NLE는 명료도가 더 높아(평균 5.39) 인간이 작성한 NLE(평균 4.68)보다 우수하며 정보량에는 유의미한 차이가 없다.
• ChatGPT의 성능은 주관적 작업에서 데이터 주석 도구로서의 강력한 가능성을 시사하지만, 그 결정이 잘못될 경우 위험이 있다.