[논문 리뷰] OpinionGPT: Modelling Explicit Biases in Instruction-Tuned LLMs

Patrick Haller, Ansar Aynetdinov외 1명|arXiv (Cornell University)|2023. 09. 07.

Text Readability and Simplification인용 수 4

한 줄 요약

OpinionGPT는 지침에 맞춘 대규모 언어 모델에서 정치적, 지리적, 성별 및 연령 기반 시민적 편향을 명시적으로 모델링하고 비교할 수 있는 웹 기반 시연을 도입한다. 레딧 기반의 지침-응답 쌍을 인구통계적 편향으로 레이블링하여 LLaMA 모델을 미세조정함으로써, 서로 다른 시각을 반영하는 병렬 응답을 생성함으로써 편향을 억압하는 대신 투명하게 드러낸다.

ABSTRACT

Instruction-tuned Large Language Models (LLMs) have recently showcased remarkable ability to generate fitting responses to natural language instructions. However, an open research question concerns the inherent biases of trained models and their responses. For instance, if the data used to tune an LLM is dominantly written by persons with a specific political bias, we might expect generated answers to share this bias. Current research work seeks to de-bias such models, or suppress potentially biased answers. With this demonstration, we take a different view on biases in instruction-tuning: Rather than aiming to suppress them, we aim to make them explicit and transparent. To this end, we present OpinionGPT, a web demo in which users can ask questions and select all biases they wish to investigate. The demo will answer this question using a model fine-tuned on text representing each of the selected biases, allowing side-by-side comparison. To train the underlying model, we identified 11 different biases (political, geographic, gender, age) and derived an instruction-tuning corpus in which each answer was written by members of one of these demographics. This paper presents OpinionGPT, illustrates how we trained the bias-aware model and showcases the web application (available at https://opiniongpt.informatik.hu-berlin.de).

연구 동기 및 목표

• 훈련 데이터 내 잠재적 편향이 정치적 및 인구통계적으로 민감한 분야에서 LLM의 응답에 어떻게 영향을 미치는지 조사하기 위해.
• 편향 억압의 주류 패러다임을 도전하기 위해, 모델 출력에서 편향을 명시적이고 투명하게 드러내는 방식을 제안하기 위해.
• 동일한 질문이 여러 편향된 시각에서 어떻게 다른지 비교할 수 있도록 사용자에게 도구를 제공하기 위해.
• 연구자들과 일반 대중이 NLP 시스템의 주관성, 언어 다양성 및 편향을 연구할 수 있는 플랫폼을 제공하기 위해.
• 인구통계적 및 문화적 시각이 언어 생성에 어떤 역할을 하는지에 대한 인식을 제고하기 위해, 특정한 입장을 지지하지는 않기 위해.

제안 방법

• 특정 인구통계적 집단(예: 'r/conservative', 'r/DebatePolitics', 'r/AskGermany')과 관련된 서브레딧 게시물과 응답을 수집하여, 편향 인식 지침 튜닝 코퍼스를 구축하였다.
• 각 응답에 정치(liberal, conservative), 지리(USA, Germany, Middle East, Latin America), 연령(teenager, over 30, over 45), 성별(male, female) 등의 편향 카테고리로 레이블을 부여하였다.
• 모든 응답이 특정 편향 레이블과 연결된 코퍼스를 기반으로 LLaMA 모델을 지침 튜닝하여 미세조정하였다.
• 사용자가 질문을 입력하고 여러 편향 카테고리를 선택할 수 있도록 웹 인터페이스를 설계하였으며, 선택된 편향에 따라 각각 다른 응답을 생성하도록 하였다.
• 추론 중에 선택된 편향에 따라 모델을 조정하는 프롬프트 엔지니어링 전략을 구현하여, 각 응답이 해당 인구통계적 시각을 정확히 반영하도록 하였다.
• 익명화되고 식별되지 않은 사용자 상호작용 데이터를 활용하였으며, 모델을 공개적으로 배포하지 않아 악용을 방지하였고, 연구 목적 전용으로 보호된 API를 통해 접근을 제한하였다.

실험 결과

연구 질문

• RQ1 정치적, 지리적, 연령 및 성별 인구통계적 편향이 지침 튜닝된 LLM의 응답에 어떤 영향을 미치는가?
• RQ2 한 개의 LLM이 사전에 정의된 여러 편향 카테고리에 대해 맥락에 적절하고 구분 가능한 응답을 생성하도록 미세조정할 수 있는 정도는 어느 정도인가?
• RQ3 모델 출력에서 편향을 명시적으로 드러내는 것이 NLP 시스템의 주관성 이해와 투명성을 향상시키는 데 기여하는가?
• RQ4 레딧과 같은 온라인 포럼에서 데이터를 학습시킬 경우, 미세조정 과정에서 편향 유출 및 혼동이 발생할 위험은 무엇인가?
• RQ5 편향 인식 모델을 윤리적으로 배포하여 유해한 이데올로기의 확산을 방지하면서도 논의를 촉진하는 방법은 무엇인가?

주요 결과

• OpinionGPT 모델은 각 선택된 편향 카테고리에 대해 명확하고 맥락에 부합하는 응답을 성공적으로 생성하여, 편향 레이블이 부여된 데이터로 미세조정함으로써 시각 제어 생성이 가능하다는 것을 입증하였다.
• 응답은 편향에 따라 크게 달라졌다. 예를 들어, '신뢰할 수 있는 텔레비전 뉴스 채널 두 가지를 제시하시오'라는 질문에 대해 보수적 입장에서는 'Fox News', 자유주의적 입장에서는 'the Verge', 미국 시각에서는 'CNN', 독일 시각에서는 'Tagesschau'가 각각 등장하였다.
• 모델은 각 편향 집단과 관련된 언어적 및 문화적 특성을 반영한 세련된 응답을 생성하여, 특정 시각에 맞는 언어 패턴을 효과적으로 포착하고 있음을 보여주었다.
• 성공에도 불구하고, 모델은 레딧 사용자 기반으로부터 전역적인 편향을 이식하였으며, '미국인'이나 '독일인'이라는 표현은 일반 인구가 아니라 특정 서브레딧에 글을 올리는 사람들만을 대표한다.
• 편향 유출 사례가 관찰되었으며, 일부 응답에서 한 편향 집단의 특성이 다른 집단의 특성과 혼동되어 나타나는 경우가 있었고, 이는 미세조정 과정에서의 잠재적 혼동을 시사하였다.
• 본 프로젝트는 편향 인식 모델을 배포할 경우 윤리적 위험이 있음을 드러내었으며, 결과적으로 모델을 공개적으로 배포하지 않고 연구자 전용 보호된 API를 통해만 접근 가능하도록 결정하였다.