[논문 리뷰] Toxicity Detection with Generative Prompt-based Inference

Yau-Shian Wang, Yingshan Chang|arXiv (Cornell University)|2022. 05. 24.

Software Engineering Research인용 수 12

한 줄 요약

이 논문은 피팅 튜닝 없이 대규모 언어 모델의 자체 진단 능력을 활용하여 텍스트에서의 제로샷 독성 탐지에 대한 생성형 프롬프트 기반 추론 방법을 제안한다. 세 가지 소셜 미디어 독성 데이터셋에서 생성형 분류가 분류형 접근 방식보다 뛰어난 성능을 보이며, 매크로-F1 점수가 높고 암시적 독성의 탐지 능력이 향상되면서 편향된 유사 상관관계에 대한 의존도가 감소한다.

ABSTRACT

Due to the subtleness, implicity, and different possible interpretations perceived by different people, detecting undesirable content from text is a nuanced difficulty. It is a long-known risk that language models (LMs), once trained on corpus containing undesirable content, have the power to manifest biases and toxicity. However, recent studies imply that, as a remedy, LMs are also capable of identifying toxic content without additional fine-tuning. Prompt-methods have been shown to effectively harvest this surprising self-diagnosing capability. However, existing prompt-based methods usually specify an instruction to a language model in a discriminative way. In this work, we explore the generative variant of zero-shot prompt-based toxicity detection with comprehensive trials on prompt engineering. We evaluate on three datasets with toxicity labels annotated on social media posts. Our analysis highlights the strengths of our generative classification approach both quantitatively and qualitatively. Interesting aspects of self-diagnosis and its ethical implications are discussed.

연구 동기 및 목표

• 생성형 프롬프트 기반 추론이 작업 특화 피팅 튜닝 없이도 독성 콘텐츠를 효과적으로 탐지할 수 있는지 조사하는 것.
• 암시적이고 미묘한 독성 탐지에서 생성형 분류가 분류형 분류보다 성능을 어떻게 평가하는지 평가하는 것.
• 이진 레이블 감독을 피하는 것으로 인해 少수 집단 언급어와 독성 레이블 간의 유사 상관관계에 대한 의존도를 줄이는 것.
• 대규모 언어 모델의 자체 진단 능력이 독성 탐지에서 윤리적 영향을 미치는지 탐색하는 것.
• 프롬프트 어조가 제로샷 독성 탐지에서 모델의 행동과 해석 가능성에 어떻게 영향을 미치는지 분석하는 것.

제안 방법

• 이 방법은 대규모 언어 모델(GPT-2 등)을 사용하여 독성 측면(예: '이 텍스트는 모욕적인가요?', '이 텍스트의 독성 버전을 생성하세요')을 명시한 프롬프트에 따라 응답을 생성한다.
• 독성 탐지는 생성형 작업으로 설정되며, 모델은 조건부 생성을 프레임으로 삼는 프롬프트에 따라 입력 텍스트가 독성인지 여부를 반영하는 텍스트 스트링을 생성한다.
• 이 접근법은 사전 훈련된 모델이 독성 콘텐츠 및 관련 판단에 대한 내부 지식을 활용하여 레이블 데이터나 피팅 튜닝이 필요 없도록 한다.
• 프롬프트 엔지니어링은 암시적 편향과 미묘한 형태의 독성을 탐지하는 데 도움이 되는 사회적 편향 프레임(SBF)에 의해 이끌린다.
• 모델 출력은 생성된 텍스트가 독성 레이블과 일치하는지 여부에 따라 독성 또는 비독성으로 분류되며, 임계값 기반 또는 토큰 기반 분류 전략을 사용한다.
• 평가에는 매크로-F1, 양성 및 음성 클래스의 F1 점수, 그리고 LIME를 통한 토큰 수준 기여도 평가를 위한 정성적 분석이 포함된다.

실험 결과

연구 질문

• RQ1 생성형 프롬프트 기반 추론이 제로샷 독성 탐지에서 분류형 프롬프트 기반 방법보다 우월한가?
• RQ2 생성형 접근 방식은 키워드 기반 방법이 포착하지 못하는 암시적이고 미묘한 형태의 독성을 어떻게 다루는가?
• RQ3 생성형 방법이 少수 집단 언급어와 독성 레이블 간의 유사 상관관계에 대한 의존도를 어느 정도 줄이는가?
• RQ4 프롬프트 어조는 모델의 탐지 행동과 해석 가능성에 어떻게 영향을 미치는가?
• RQ5 대규모 언어 모델의 자체 진단 능력이 독성 탐지에서 윤리적 리스크는 무엇인가?

주요 결과

• 생성형 분류 접근 방식은 SBIC, HateXplain, SemEval 2019의 세 데이터셋 전반에서 분류형 분류보다 높은 매크로-F1 점수를 기록했다.
• SBIC 데이터셋에서 가장 큰 GPT-2 모델은 생성형 분류를 통해 매크로-F1 0.62를 기록했으며, 이는 분류형 베이스라인을 초월했다.
• 생성형 방법은 특히 비속어나 명시적인 모욕어가 존재하지 않는 경우 암시적 독성 탐지에서 뛰어난 성능을 보였다.
• 정성적 분석 결과, 모델의 예측은 독성 키워드에 대해 더 강건했으며, LIME 분석을 통해 비독성 토큰이 독성 키워드보다 더 많은 기여도를 보여 정확한 분류에 기여했다.
• 이중 사용 위험과 사전 훈련 데이터에서 독성 콘텐츠 및 관련 판단을 제거한 경우 자체 진단의 취약성 등 윤리적 우려 사항이 발견되었다.