[논문 리뷰] Unified Detoxifying and Debiasing in Language Generation via Inference-time Adaptive Optimization

Zonghan Yang, Xiaoyuan Yi외 3명|arXiv (Cornell University)|2022. 10. 10.

Fuzzy Logic and Control Systems인용 수 6

한 줄 요약

이 논문은 추론 시 적응 최적화를 통해 사전 학습된 언어 모델에서 독성과 편향을 동시에 제거하는 통합 프레임워크인 UDDIA를 제안한다. 이는 매개변수 효율적 튜닝을 사용하여 출력 분포를 동시에 보정함으로써 독성과 사회적 편향을 감소시키며, 기존 방법에 비해 생성 품질과 계산 비용에 미치는 영향을 최소화하면서도 뛰어난 윤리적 일치를 달성한다.

ABSTRACT

Warning: this paper contains model outputs exhibiting offensiveness and biases. Recently pre-trained language models (PLMs) have prospered in various natural language generation (NLG) tasks due to their ability to generate fairly fluent text. Nevertheless, these models are observed to capture and reproduce harmful contents in training corpora, typically toxic language and social biases, raising severe moral issues. Prior works on ethical NLG tackle detoxifying and debiasing separately, which is problematic since we find debiased models still exhibit toxicity while detoxified ones even exacerbate social biases. To address such a challenge, we propose the first unified framework of detoxifying and debiasing called UDDIA, which jointly formalizes these two problems as rectifying the output space. We theoretically interpret our framework as learning a text distribution mixing weighted attributes. Besides, UDDIA conducts adaptive optimization of only a few parameters during decoding based on a parameter-efficient tuning schema without any training data. This leads to minimal generation quality loss and improved rectification performance with acceptable computational cost. Experimental results demonstrate that compared to several strong baselines, UDDIA achieves debiasing and detoxifying simultaneously and better balances efficiency and effectiveness, taking a further step towards practical ethical NLG.

연구 동기 및 목표

• 독성 제거와 편향 제거를 별도로 수행하는 기존 방법의 한계를 해결하기 위해, 이는 종종 한 문제를 해결하면서 다른 문제를 악화시키기 때문이다.
• 사전 학습된 언어 모델의 추론 과정에서 독성과 사회적 편향을 동시에 완화할 수 있는 통합 프레임워크를 개발하기 위해이다.
• 매개변수 효율적 튜닝을 통해 생성 품질 저하를 최소화하면서도 낮은 계산 비용을 유지하기 위해이다.
• 출력 공간의 공동 보정을 민감한 속성 조건에 따른 텍스트 분포의 혼합으로 이론적으로 정당화하기 위해이다.
• 실제 배포 환경에서 효과성, 효율성, 유창성의 균형을 이루는 실용적인 윤리적 자연어 생성을 가능하게 하기 위해이다.

제안 방법

• UDDIA는 독성과 편향 제거를 민감한 속성(예: 성별, 인종 등)에 대한 의존도를 줄이기 위해 출력 분포의 공동 최적화로 공식화한다.
• 외부 분류기의 지시에 따라 기반으로 하는 기울기 기반 업데이트를 사용하여, 몇몇 매개변수만 추론 시에 적응적으로 튜닝하는 방법을 사용한다.
• 재학습이나 훈련 데이터 접근이 필요 없이, 매개변수 효율적 튜닝 기법(예: LoRA 방식의 적응)을 사용한다.
• 보정 과정을 인구 집단과 독성 속성 조건에 따른 텍스트 분포의 혼합으로 해석함으로써 이론적 기반을 제공한다.
• 각 생성 단계마다 적응 최적화를 적용하여, 유창성을 유지하면서 유해 콘텐츠를 동적으로 줄이는 방식으로 출력을 조정한다.
• 독성과 편향은 외부 도구를 사용해 측정한다: 독성은 PERSPECTIVE API, 편향은 Regard 점수를 사용하며, 이들이 최적화 과정을 안내한다.

실험 결과

연구 질문

• RQ1 사전 학습된 언어 모델에서 독성 제거와 편향 제거를 단일 프레임워크로 효과적으로 통합할 수 있는가?
• RQ2 독성과 편향 감소를 동시에 최적화하는 것이 별도의 방법보다 더 뛰어난 성능을 낼 수 있는가?
• RQ3 매개변수 효율적이고 추론 시 적응 튜닝을 통해 재학습 없이도 강력한 윤리적 일치를 달성할 수 있는가? 그리고 상당한 품질 손실 없이?
• RQ4 모델 크기의 다양성에 따라 성능이 어떻게 변화하는가? 생성 속도와 유창성 측면에서의 성능은 어떠한가?
• RQ5 프레임워크는 인구 집단 간 독성 격차와 편향 격차를 동시에 줄일 수 있는가?

주요 결과

• UDDIA는 독성 감소와 편향 완화 모두에서 최신 기준 수준의 성능을 달성하며, DExperts와 PPLM와 같은 강력한 베이스라인을 능가한다.
• 모델은 평균적으로 프롬프트 전반에 걸쳐 독성을 최대 40% 감소시키며, 동시에 인구 집단 간 편향 격차도 감소시킨다.
• 생성 품질 저하가 미미하여, 퍼플렉서티(PPL)가 원본 GPT-2-Large 모델과 유사하여 뛰어난 유창성 유지가 확인된다.
• UDDIA-t와 UDDIA-u 버전은 PPLM보다 빠른 추론 속도를 보였지만, 일부 베이스라인보다는 여전히 느리며, 향후 최적화 여지가 있음을 시사한다.
• 성별 및 인종 집단 간 독성 격차를 성공적으로 좁혔지만 잔여 격차가 존재하여, 더 세밀한 속성으로의 개선 여지가 있음을 시사한다.
• 다양한 유형의 프롬프트에 대해 뛰어난 강건성을 보였지만, 특정 프롬프트 그룹에서는 생성 속도가 낮아 일부 맥락에서 버퍼링이 발생할 수 있음을 시사한다.