[논문 리뷰] Towards Identifying Social Bias in Dialog Systems: Frame, Datasets, and Benchmarks

Jingyan Zhou, Jiawen Deng외 7명|arXiv (Cornell University)|2022. 02. 16.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대화 시스템 내 사회적 편향을 분석하기 위한 네 단계 프로세스인 Dial-Bias 프레임워크를 소개한다. 이는 맥락 민감성, 데이터 유형, 대상 집단, 암시된 태도를 평가하는 방식이다. 또한 중국어 대화 편향에 대해 세분화된 애너테이션을 제공하는 CDial-Bias라는 첫 번째 데이터셋을 제시하며, 인종, 성별, 지역, 직업 주제에 걸쳐 총 28,000개의 맥락-응답 쌍을 포함한다. 이 데이터셋을 기반으로 수립된 벤치마크는 현재의 모델과 API가 미묘한 편향을 충분히 탐지하지 못함을 드러내며, 중국어 대화 시스템에서 맥락 인식형 다차원 편향 탐지의 필요성을 강조한다.

ABSTRACT

The research of open-domain dialog systems has been greatly prospered by neural models trained on large-scale corpora, however, such corpora often introduce various safety problems (e.g., offensive languages, biases, and toxic behaviors) that significantly hinder the deployment of dialog systems in practice. Among all these unsafe issues, addressing social bias is more complex as its negative impact on marginalized populations is usually expressed implicitly, thus requiring normative reasoning and rigorous analysis. In this paper, we focus our investigation on social bias detection of dialog safety problems. We first propose a novel Dial-Bias Frame for analyzing the social bias in conversations pragmatically, which considers more comprehensive bias-related analyses rather than simple dichotomy annotations. Based on the proposed framework, we further introduce CDail-Bias Dataset that, to our knowledge, is the first well-annotated Chinese social bias dialog dataset. In addition, we establish several dialog bias detection benchmarks at different label granularities and input types (utterance-level and context-level). We show that the proposed in-depth analyses together with these benchmarks in our Dial-Bias Frame are necessary and essential to bias detection tasks and can benefit building safe dialog systems in practice.

연구 동기 및 목표

• 오픈 도메인 대화 시스템 내에서 암묵적이고 식별하기 어려운 미묘한 맥락 의존적 사회적 편향을 탐지하는 데 도전하는 것. 기존의 이진 분류나 어휘 기반 방법으로는 이를 효과적으로 파악하기 어려운 점을 고려한다.
• 단순한 애너테이션이나 키워드 매칭을 넘어서 대화 내 사회적 편향을 종합적이고 통합적으로 분석할 수 있는 프레임워크를 개발하는 것.
• 인종, 성별, 지역, 직업이라는 네 가지 주요 편향 주제를 다루는 첫 번째 고품질이고 철저히 애너테이션된 중국어 대화 편향 데이터셋(CDial-Bias)을 구축하는 것.
• 대화 시스템의 사회적 편향 탐지 능력을 평가하기 위한 세분화된 벤치마크를 수립하여, 모델 성능과 애너테이션의 유용성에 대한 심층적 분석을 가능하게 하는 것.
• 제안된 프레임워크와 분류기로 중국어 생성 모델을 평가하여, 그 응답에 지속적인 사회적 편향이 존재하는지 확인하는 것.

제안 방법

• Dial-Bias 프레임워크를 제안하며, 네 단계로 구성된 프로세스를 수립한다: (1) 맥락 민감성 평가(맥락 의존적 대응 여부), (2) 데이터 유형 분류(예: 편향 표현, 중립, 모호함), (3) 대상 사회 집단 식별(예: 성별, 지역), (4) 집단에 대한 암시된 태도 결정(예: 긍정, 부정, 중립).
• 중국의 소셜 미디어 플랫폼인 지ihu에서 28,000개의 맥락-응답 쌍을 구축하기 위해 체계적인 데이터 크롤링 및 애너테이션 파이프라인을 활용하여 대표성과 품질을 확보한다.
• 프레임워크에서 유도된 네 가지 보조 레이블을 활용한 다중 레이블 애너테이션 체계를 도입하여 편향 표현과 맥락 의존성의 세분화된 분석을 가능하게 한다.
• CDial-Bias 데이터셋을 기반으로 벤치마크를 수립하여 오프더셰프 API와 커스텀 분류기의 성능을 평가하며, 다양한 편향 탐지 작업에서의 성능을 분석한다.
• 인간 평가와 모델 기반 탐지 방법을 비교하여 편향 탐지 능력을 평가하며, 보조 레이블이 탐지 정확도 향상에 기여하는 중요성을 강조한다.
• 프레임워크를 활용해 주요 중국어 생성 모델을 평가하여 편향 패턴을 식별하고, 자동화된 평가와 인간 평가를 병행해 위험 수준을 측정한다.

실험 결과

연구 질문

• RQ1 이진 분류나 어휘 기반 접근 방식을 넘어서, 대화 시스템 내 사회적 편향을 어떻게 체계적으로 분석할 수 있는가?
• RQ2 현재의 오프더셰프 API와 모델은 중국어 대화에서 미묘하고 맥락 의존적인 사회적 편향을 어느 정도 탐지하는가?
• RQ3 보조 레이블(맥락 민감성, 데이터 유형, 대상 집단, 암시된 태도)은 편향 탐지 모델의 성능에 어떤 영향을 미치는가?
• RQ4 CDial-Bias 데이터셋의 레이블 분포는 실제 온라인 대화에서의 편향 유형, 특히 소수 집단에 해당하는 편향을 어느 정도 반영하고 있는가?
• RQ5 제안된 프레임워크와 데이터셋은 최신 기술의 중국어 생성 모델 내 숨겨진 편향을 효과적으로 드러낼 수 있는가?

주요 결과

• CDial-Bias 데이터셋은 인종, 성별, 지역, 직업이라는 네 가지 주요 사회적 편향 주제를 다루며, 네 가지 세부 레이블로 애너테이션된 28,000개의 맥락-응답 쌍을 포함한다.
• 데이터셋은 극도로 불균형한 레이블 분포를 보이며, '반편향'으로 레이블링된 샘플은 전체의 1.6%에 불과하여 실제 온라인 커뮤니티의 동적 구조를 반영한다.
• 오프더셰프 API와 기존 모델은 미묘하고 맥락 의존적인 편향 탐지 능력이 제한되어 있어, 전문화된 맥락 인식형 탐지 방법의 필요성을 강조한다.
• Dial-Bias 프레임워크에서 유도된 보조 레이블을 통합할 경우 편향 탐지 성능이 크게 향상되며, 이는 정확한 식별에 있어 핵심적인 역할을 한다는 점을 입증한다.
• 주요 중국어 생성 모델의 평가 결과, 응답에 지속적인 사회적 편향이 존재함을 확인하여 실제 서비스 적용 시 지속적인 위험 요소가 존재함을 시사한다.
• 본 연구는 현재의 접근 방식이 암묵적이거나 맥락 민감한 편향을 효과적으로 탐지하지 못함을 드러내며, 특히 표면 수준의 텍스트 매칭이나 이진 분류에 의존할 경우 더욱 심각한 문제를 노출한다.