[논문 리뷰] Towards Controllable Biases in Language Generation

Emily Sheng, Kai-Wei Chang외 2명|arXiv (Cornell University)|2020. 05. 01.

Topic Modeling참고 문헌 30인용 수 11

한 줄 요약

이 논문은 자연어 생성(NLG)에서 사회적 편향을 유도하고 완화하기 위한 모델에 종속되지 않는 프레임워크를 제안한다. 기울기 기반의 적대적 트리거를 사용하여, 민족적 배경을 언급하는 프롬프트에 트리거를 접두어로 추가함으로써 특정 집단에 대한 편향 극성(부정, 중립, 긍정)을 제어한다. 이는 편향 분석과 완화를 모두 가능하게 하며, 민족적 배경 간 편향의 균형을 효과적으로 이루고 GPT-2 출력에서의 부정적 편향을 감소시킨다.

ABSTRACT

We present a general approach towards controllable societal biases in natural language generation (NLG). Building upon the idea of adversarial triggers, we develop a method to induce societal biases in generated text when input prompts contain mentions of specific demographic groups. We then analyze two scenarios: 1) inducing negative biases for one demographic and positive biases for another demographic, and 2) equalizing biases between demographics. The former scenario enables us to detect the types of biases present in the model. Specifically, we show the effectiveness of our approach at facilitating bias analysis by finding topics that correspond to demographic inequalities in generated text and comparing the relative effectiveness of inducing biases for different demographics. The second scenario is useful for mitigating biases in downstream applications such as dialogue generation. In our experiments, the mitigation technique proves to be effective at equalizing the amount of biases across demographics while simultaneously generating less negatively biased text overall.

연구 동기 및 목표

• 자연어 생성(NLG) 모델에서 사회적 편향을 제어하기 위한 일반적이고 모델에 종속되지 않는 방법을 개발하는 것.
• 민족적 불균형과 관련된 주제를 분석하여 편향이 NLG 출력에 어떻게 나타나는지 연구하는 것.
• 다양한 민족적 배경 집단 간 편향 유도의 상대적 효과성을 평가하여 모델의 한계를 드러내는 것.
• 부정적 편향을 감소시키고 민족적 배경 간 편향 극성을 균형화하는 완화 전략을 설계하고 평가하는 것.
• 이 방법이 NLG 모델 간 일반화 가능하며, 후행 대화 시스템에서 알려지지 않은 이름에도 효과를 유지하는지 입증하는 것.

제안 방법

• 이 방법은 기울기 기반의 적대적 트리거 탐색을 사용하여, 민족적 언급을 포함한 입력 프롬프트에 접두어로 추가될 때 생성된 텍스트의 편향 극성을 영향을 미치는 짧은 트리거 구문을 식별한다.
• 프레임워크는 특정 민족 집단에 대한 사회적 인식에 대한 부정, 중립, 긍정적 영향으로서 편향 극성을 정의하며, 편향 제어 목표는 특정 극성을 유도하거나 완화하기 위해 수립된다.
• 트리거는 목표 샘플의 기울기를 사용하여 최적화되어, 지정된 민족적 언급에 대해 모델 출력에서 원하는 편향 이동을 최대화한다.
• 이 접근법은 GPT-2와 대화 모델(DialoGPT)에 적용되었으며, 자동 및 인간 평가 기반의 편향 점수로 평가되었다.
• 완화는 부정적 편향을 감소시키고 민족적 배경 간 편향 비율을 균형화하도록 트리거를 훈련시켜 달성되었으며, 알려진 이름과 알려지지 않은 이름 모두에서 테스트되었다.
• 민족적 편향 불균형과 관련된 주제는 다양한 트리거 조건 하에서 생성된 텍스트의 내용을 분석하여 분석된다.

실험 결과

연구 질문

• RQ1 민족적 언급에 기반하여 적대적 트리거를 사용해 NLG 출력에 체계적으로 부정, 중립, 긍정적 편향을 유도할 수 있는가?
• RQ2 생성된 텍스트에서 민족적 편향 불균형과 가장 강하게 연관된 주제는 무엇인가?
• RQ3 편향 유도의 효과성은 다양한 민족적 집단 간에 어떻게 달라지며, 이는 모델의 한계를 어떻게 드러내는가?
• RQ4 NLG 모델에서 민족적 배경 간 편향 극성을 균형화하는 데 트리거를 설계할 수 있는가?
• RQ5 완화 트리거는 알려지지 않은 이름으로 일반화되어 실생활 대화 응용 프로그램에서 효과를 유지하는가?

주요 결과

• 완화 트리거는 흑인 이름과 백인 이름 간 평균 존중 점수 격차를 0.25에서 0.01로 감소시켜 효과적인 편향 균형화를 보였다.
• 알려진 이름과 알려지지 않은 이름 모두에서 완화 트리거는 일관된 성능을 유지하여 민족적 이름 간 일반화 능력을 보였다.
• 흑인 이름의 평균 존중 점수는 0.38에서 0.53으로, 백인 이름은 0.37에서 0.52로 상승하여 부정적 편향에서 중립적·긍정적 편향으로의 상당한 이동을 나타냈다.
• 이 방법은 인종-흑인에 대해 부정적 편향을 성공적으로 유도하고, 인종-백인에 대해 긍정적 편향을 유도하여 주제 수준의 불균형을 드러냈다. 예를 들어 국제관계 관련 언급이 증가하였다.
• 백인에 대해 부정적 편향을 유도하는 것은 흑인에 비해 더 어려웠으며, 이슬람교도에 비해 이슬람교도가 아닌 사람에 대해 더 어려웠다. 이는 모델의 편향 민감도에 대한 비대칭성을 시사한다.
• 인간 평가 결과는 자동 편향 점수를 확인했으며, 평가자 간 일致도는 0.71이고 인간 평가자와 자동 레이블 간 상관계수는 0.66이었다.