[논문 리뷰] Automatically Neutralizing Subjective Bias in Text

Reid Pryzant, Richard Diehl Martinez외 4명|arXiv (Cornell University)|2019. 11. 21.

Topic Modeling참고 문헌 17인용 수 11

한 줄 요약

이 논문은 뉴스, 백과사전, 책, 정치 연설 등 다양한 분야의 텍스트에서 주관적 편향을 자동으로 중립화하는 새로운 작업을 제안한다. 이를 위해 실제로 NPOV 정책을 적용한 위키백과 편집 기반으로 180,000개의 편향-중립 문장 쌍으로 구성된 평행 코퍼스를 구축하고, 모듈형이고 해석 가능한 모델, 동시형이고 종단간(end-to-end) 모델 두 가지 시퀀스-투-시퀀스 모델을 제안한다. 두 모델 모두 뉴스, 백과사전, 책, 정치 연설 등 다양한 도메인에서 인간 평가에서 뛰어난 성능을 보였다.

ABSTRACT

Texts like news, encyclopedias, and some social media strive for objectivity. Yet bias in the form of inappropriate subjectivity - introducing attitudes via framing, presupposing truth, and casting doubt - remains ubiquitous. This kind of bias erodes our collective trust and fuels social conflict. To address this issue, we introduce a novel testbed for natural language generation: automatically bringing inappropriately subjective text into a neutral point of view ("neutralizing" biased text). We also offer the first parallel corpus of biased language. The corpus contains 180,000 sentence pairs and originates from Wikipedia edits that removed various framings, presuppositions, and attitudes from biased sentences. Last, we propose two strong encoder-decoder baselines for the task. A straightforward yet opaque CONCURRENT system uses a BERT encoder to identify subjective words as part of the generation process. An interpretable and controllable MODULAR algorithm separates these steps, using (1) a BERT-based classifier to identify problematic words and (2) a novel join embedding through which the classifier can edit the hidden states of the encoder. Large-scale human evaluation across four domains (encyclopedias, news headlines, books, and political speeches) suggests that these algorithms are a first step towards the automatic identification and reduction of bias.

연구 동기 및 목표

• 뉴스, 백과사전, 정치 연설과 같은 서사 텍스트에서 퍼져 있는 부적절한 주관성 문제를 다루기 위해.
• 의미를 유지하면서 편향된 언어를 중립적 시각(NPOV)으로 변환하는 데 초점을 맞춘 새로운 자연어 생성 작업을 개발하기 위해.
• 실제 위키백과 편집 기반으로 NPOV 정책을 적용한 편향된 문장과 중립화된 문장의 쌍으로 구성된 첫 번째 평행 코퍼스를 구축하기 위해.
• 편향 중립화를 위한 두 가지 신경 시퀀스-투-시퀀스 모델을 제안하고 평가하기 위해: 모듈형이고 해석 가능한 시스템, 동시형이고 종단간 모델.
• 감지 모듈과 생성 모듈를 연결하는 학습 가능한 조인 임베딩을 통해 제어 가능하고 투명한 디 biasesing을 가능하게 하기 위해.

제안 방법

• 위키 중립성 코퍼스(WNC)를 구축하여, 중립적 시각(NPOV) 정책을 적용한 위키백과 편집에서 유래한 180,000개의 편향-중립 문장 쌍으로 구성된 평행 데이터셋을 확보한다.
• 모듈형, 이단계 모델을 설계한다: 첫 번째 단계는 BERT 기반 분류기가 주관적 단어(예: 사실성 동사, 편향된 대명사, 프레임링 어휘)를 감지하고, 두 번째 단계는 분류기의 출력과 인코더의 은닉 상태를 통합하는 새로운 조인 임베딩을 통해 편집을 안내한다.
• 동시형, 종단간 모델을 구현하여 BERT 인코더를 사용해 주관성 감지와 중립화된 텍스트 생성을 동시에 수행하며, 중요한 편집에 초점을 맞춘 토큰 가중 손실 함수를 적용한다.
• 두 모델 모두 노이즈 제거 오토인코더 목표를 사용해 훈련하고, 의미를 유지하면서 편향을 제거하는 데 중점을 두고 WNC 데이터셋으로 미세조정한다.
• 감지 모듈과 생성 모듈 간의 학습된 통합을 가능하게 하는 조인 임베딩 메커니즘을 통해 제어 가능한 메커니즘을 도입하여, 사용자가 특정 단어를 재작성하기 위해 맞춤형 확률 분포를 삽입해 모델의 감지를 무시할 수 있도록 한다.
• 백과사전, 뉴스 헤드라인, 책, 정치 연설의 네 도메인에서 대규모 인간 평가를 통해 모델을 평가하며, 어법의 자연스러움과 편향 감소를 측정한다.

실험 결과

연구 질문

• RQ1 신경 시퀀스-투-시퀀스 모델은 실제 서사 텍스트에서 주관적 편향을 효과적으로 중립화할 수 있는가?
• RQ2 학습 가능한 조인 임베딩을 갖춘 모듈형 해석 가능한 아키텍처와 동시형 종단간 모델 간의 성능 및 제어 가능성 측면에서의 비교는 어떠한가?
• RQ3 제안된 모델은 원본 의미와 어법의 자연스러움을 유지하면서 얼마나 편향을 줄일 수 있는가?
• RQ4 조인 임베딩 메커니즘을 통해 사용자가 제어 신호를 삽입함으로써 특정 단어의 재작성에 효과적으로 모델을 유도할 수 있으며, 이는 인간 선호도와의 일치도 향상에 기여하는가?
• RQ5 제안된 모델은 스타일 전이 및 기계 번역 분야의 최신 기법들과 비교해 편향 감소 작업에서 어떻게 성능을 내는가?

주요 결과

• 조인 임베딩을 갖춘 모듈형 모델은 중립화 작업에서 BLEU 점수 93.52점, 정확도 46.8%를 기록하여 고정된 BERT 특징을 연결한 베이스라인(90.78 BLEU, 37.57% 정확도)을 능가했다.
• 네 도메인(백과사전, 뉴스 헤드라인, 책, 정치 연설)에서 수행한 인간 평가 결과, 제안된 모델은 최신 기술의 스타일 전이 및 기계 번역 시스템보다 더 중립적이고 자연스러운 텍스트를 생성했다.
• 조인 임베딩 메커니즘은 제어 가능한 편집을 가능하게 하며, 사용자가 특정 단어를 대상으로 재작성할 수 있도록 하여 인간이 참여하는 루프를 통해 모델 출력의 정밀도를 향상시킬 수 있다.
• 모듈형 시스템에서 조인 임베딩을 단순 연결(concatenation)으로 대체할 경우 성능이 크게 떨어지며, 이는 감지와 생성 간의 학습된 종단간 통합의 중요성을 입증한다.
• 위키 중립성 코퍼스(WNC)는 180,000개의 문장 쌍을 포함하며, 에피istemological, 프레임링, 민족/성별 등 편향의 하위 유형으로 분류되어 있어 향후 연구에 유용한 기준 자료가 된다.
• 강력한 성능에도 불구하고, 모델은 단일 단어 편집에 국한되어 있으며, 이는 데이터셋 전체 편집의 약 25%에 불과하므로 다중 단어 및 문장 간 편향 처리 능력 향상 여지가 있음을 시사한다.