[논문 리뷰] Detecting and Classifying Malevolent Dialogue Responses: Taxonomy, Data and Methodology

Yangjun Zhang, Pengjie Ren외 1명|arXiv (Cornell University)|2020. 08. 21.

Topic Modeling참고 문헌 60인용 수 7

한 줄 요약

이 논문은 악성 대화 응답 검출 및 분류(MDRDC) 작업을 소개하며, 계층적 분류 체계(HMDT)와 다중 전환 대화 데이터셋을 제안하여 악성 응답을 분류한다. BERT 기반 모델을 활용해 최신 기술 수준의 성능을 달성하였으며, 대화 참가자 양측의 맥락 정보가 분류 정확도를 크게 향상시킨다.

ABSTRACT

Conversational interfaces are increasingly popular as a way of connecting people to information. Corpus-based conversational interfaces are able to generate more diverse and natural responses than template-based or retrieval-based agents. With their increased generative capacity of corpusbased conversational agents comes the need to classify and filter out malevolent responses that are inappropriate in terms of content and dialogue acts. Previous studies on the topic of recognizing and classifying inappropriate content are mostly focused on a certain category of malevolence or on single sentences instead of an entire dialogue. In this paper, we define the task of Malevolent Dialogue Response Detection and Classification (MDRDC). We make three contributions to advance research on this task. First, we present a Hierarchical Malevolent Dialogue Taxonomy (HMDT). Second, we create a labelled multi-turn dialogue dataset and formulate the MDRDC task as a hierarchical classification task over this taxonomy. Third, we apply stateof-the-art text classification methods to the MDRDC task and report on extensive experiments aimed at assessing the performance of these approaches.

연구 동기 및 목표

• 다중 전환 대화에서 악성 응답을 검출하고 분류하기 위한 체계적인 프레임워크가 부족한 문제를 해결하기 위해.
• 혐오 발언이나 모욕적 언어를 넘어서 다양한 형태의 악의성을 포괄하는 종합적이고 계층적인 분류 체계(HMDT)를 개발하기 위해.
• HMDT를 사용하여 세밀한 레이블을 부여한 대규모 다중 전환 대화 데이터셋을 구축하여 악성 행위 탐지 모델의 훈련 및 평가를 위해 사용하기 위해.
• MDRDC 작업에 최신 기술 수준의 자연어 처리 기법을 평가하고, 맥락 및 계층적 레이블 구조와 같은 성능에 영향을 미치는 요인을 규명하기 위해.

제안 방법

• 세 단계로 구성된 계층적 악성 대화 분류 체계(HMDT)를 제안함: 일반 카테고리(예: '모욕'), 하위 카테고리(예: '인종적 모욕'), 구체적 유형(예: '인종적 비하 발언').
• 1,000개의 대화로 구성된 다중 전환 대화 데이터셋을 공동 작업 방식으로 수집하였으며, 각 발언은 HMDT 계층에 따라 레이블링되어 계층적 분류를 가능하게 함.
• BERT 기반 모델(예: BERT-base)을 사용하여 다중 레이블 및 계층적 텍스트 분류에 맞게 미세조정하며, 양방향 대화 참가자로부터의 맥락 정보를 통합함.
• 분류 체계의 각 수준에서 정밀도, 재현율, F1 점수를 사용해 모델 성능을 평가하고, 맥락 사용 및 레이블 계층의 영향을 분석하기 위한 추상화 연구를 수행함.
• 대화 참가자 양측(예: 화자 A 및 화자 B)의 맥락을 활용하여 분류 성능을 향상시키며, 추상화 연구를 통해 상대방의 맥락이 더 유용한 것으로 확인됨.
• 계층적 레이블 구조의 영향을 분석하기 위해 제2수준 및 제3수준 분류 성능를 비교함으로써, 더 세분화된 레이블이 F1 점수 향상에 기여함을 입증함.

실험 결과

연구 질문

• RQ1 기존의 혐오 발언이나 모욕적 언어 정의를 넘어서 악성 대화 응답을 어떻게 체계적으로 분류할 수 있는가?
• RQ2 특히 상대방의 맥락이 악성 응답 탐지에 어떤 영향을 미치는가?
• RQ3 계층적 레이블 구조는 악성 행위 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ4 BERT와 같은 최신 기술 수준의 모델이 다중 전환 대화 데이터에 대해 미세조정된 후 MDRDC 작업에서 어떤 성능을 보이는가?
• RQ5 다시 표현된 발언이나 맥락 모델링을 통해 단일 전환 입력을 넘어서 분류 성능을 향상시킬 수 있는가?

주요 결과

• BERT-base 모델이 다른 화자로부터의 맥락을 사용할 경우, MDRDC 작업에서 가장 높은 성능을 기록하며 F1 점수는 81.78%를 기록함.
• 양방향 대화 참가자로부터의 맥락을 사용할 경우, 한 명의 화자로부터의 맥락만 사용하는 것보다 성능 향상이 뚜렷하며, 상대방의 맥락이 더 영향력 있음.
• 제3수준 분류(세분화된 카테고리)는 '질투' 카테고리에서 제2수준 분류(72.73)보다 높은 F1 점수(80.00)를 기록함. 통계적 유의성(p < 0.05) 확인됨.
• 같은 사용자로부터의 맥락보다 상대방의 맥락이 더 높은 성능을 내며, 이는 대화 상대의 행동이 악성 행위 탐지에 더 강력한 신호임을 시사함.
• HMDT 분류 체계의 계층적 구조는 더 넓은 카테고리와 더 세밀한 카테고리 간의 관계를 활용할 수 있도록 하여 분류 성능 향상에 기여함.
• 다시 표현된 발언과 맥락 모델링은 향후 맥락 인식 기반 응답 필터링의 성능 향상 잠재력을 보이며, 향후 개선 여지가 있음.