[논문 리뷰] CommunityLM: Probing Partisan Worldviews from Language Models

Hang Jiang, Doug Beeferman외 2명|arXiv (Cornell University)|2022. 09. 15.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 민주당과 공화당 커뮤니티의 정치적 세계관을 탐구하기 위해 파artisan Twitter 데이터로 GPT-2 언어 모델을 피지테이닝하는 Framework인 CommunityLM을 소개한다. ANES 설문지 질문을 프롬프트로 사용함으로써, 이 방법은 실제 정당 소속 태도를 예측하는 데 기존 베이스라인보다 유의미하게 뛰어난 성능을 보이며, 실제 설문 데이터와 강력한 일치를 보인다.

ABSTRACT

As political attitudes have diverged ideologically in the United States, political speech has diverged lingusitically. The ever-widening polarization between the US political parties is accelerated by an erosion of mutual understanding between them. We aim to make these communities more comprehensible to each other with a framework that probes community-specific responses to the same survey questions using community language models CommunityLM. In our framework we identify committed partisan members for each community on Twitter and fine-tune LMs on the tweets authored by them. We then assess the worldviews of the two groups using prompt-based probing of their corresponding LMs, with prompts that elicit opinions about public figures and groups surveyed by the American National Election Studies (ANES) 2020 Exploratory Testing Survey. We compare the responses generated by the LMs to the ANES survey results, and find a level of alignment that greatly exceeds several baseline methods. Our work aims to show that we can use community LMs to query the worldview of any group of people given a sufficiently large sample of their social media discussions or media diet.

연구 동기 및 목표

• 공개 토론 데이터로 훈련된 언어 모델을 활용해 확장성 있고 유연한 프레임워크를 개발하여 공동체 특화 세계관을 탐색하는 것.
• 파트리잔 소셜 미디어 데이터로 피지테이닝된 언어 모델이 공동체의 정치적 태도를 공개 인물과 사회 집단에 대해 정확하게 반영할 수 있는지 조사하는 것.
• CommunityLM의 성능을 사전 훈련된 모델(예: GPT-3 Curie)과 키워드 검색 기반 베이스라인과 비교하여 정당 소속 태도 예측 능력을 평가하는 것.
• 모델 오류를 분석하고, 공개 인물에 대한 순위 매기기에서 생성된 응답의 신뢰성을 평가하는 것.
• 합성적으로 생성된 모델 기반 의견을 통해 사용자가 대립하는 공동체의 시각을 탐색할 수 있도록 하여 건설적인 대화를 촉진하는 것.

제안 방법

• 2020년 ANES 설문 조사 기간 이전에 수집된, 자가 식별된 민주당 및 공화당 Twitter 사용자로부터 각각 470만 건의 트윗 데이터로 GPT-2 언어 모델을 피지테이닝한다.
• ANES 2020 탐색 테스트 설문지 질문을 프롬프트로 사용하며, 'X는 ...이다' 등의 네 가지 다른 프롬프트 유형을 활용해 의견 유사 응답을 유도한다.
• 16명의 공개 인물에 대해 생성된 응답의 평균 태도 점수를 계산하여 각 공동체 내에서의 선호도 순위를 산정한다.
• 예측 성능 평가를 위해 생성된 응답을 실제 ANES 설문 결과와 상관관계 및 정확도 지표를 사용해 비교한다.
• 모델 출력을 실제 ANES 응답과 비교하여 오류 분석을 수행하고, 체계적인 누락 및 오분류 사례를 식별한다.
• 개별 샘플이 아닌 생성된 출력의 통계적 패턴을 활용하여 강건성 확보 및 환상적 응답 위험 감소를 도모한다.

실험 결과

연구 질문

• RQ1 파티지안 소셜 미디어 데이터로 피지테이닝된 GPT-2 모델이 공개 인물에 대한 실제 정당 소속 태도를 반영하는 응답을 생성할 수 있는가?
• RQ2 CommunityLM의 성능은 사전 훈련된 모델(예: GPT-3 Curie)과 키워드 기반 베이스라인과 비교해 어떻게 다른가?
• RQ3 어느 프롬프트 형식이 공동체 태도 예측에서 가장 정확하고 신뢰할 수 있는 결과를 낳는가?
• RQ4 CommunityLM가 저지르는 체계적 오류는 어떤가? 특정 공개 인물이나 사회 집단과 어떤 관련이 있는가?
• RQ5 CommunityLM는 각 정당 공동체 내에서 공개 인물의 선호도 순위를 어느 정도 정확하게 매길 수 있는가?

주요 결과

• 프롬프트 형식이 'X는 ...이다'인 피지테이닝된 CommunityLM가 정당 소속 태도 예측에서 가장 높은 정확도를 기록했으며, 사전 훈련된 GPT-3 Curie 및 키워드 검색 기반 베이스라인보다 유의미하게 뛰어난 성능을 보였다.
• CommunityLM가 생성한 응답은 실제 ANES 설문 결과와 강력한 일치를 보였으며, 특히 드. 파우치나 정치 집단에 대한 정당 간 차이를 잘 반영했다.
• 공화당 GPT-2 모델은 드. 파우치에 대해 '거짓말쟁이'와 '농담'을 상위 응답으로 내보냈고, 민주당 모델은 '영웅'와 '진실'을 내보내, 실제 정당 간 갈등을 반영했다.
• 오류 분석 결과, 키워드 검색 기반 베이스라인은 '불법 이민자'와 '대규모 기업' 같은 핵심 용어를 누락했고, 피지테이닝된 CommunityLM는 '백인'과 '드. 앤서니 파우치'를 누락했다.
• CommunityLM의 태도 점수를 기반으로 공개 인물 순위를 매겨본 결과, 공화당 모델은 민주당 정치인들을 더 부정적으로 평가했고, 반대로 민주당 모델은 공화당 정치인들을 더 낮게 평가했다. 앤드류 양은 양측 공동체에서 모두 높은 평가를 받았다.
• 본 연구는 모델이 생성한 응답의 통계적 패턴을 통해 직접 인터뷰 없이도 공동체 수준의 선호도 및 세계관 차이를 신뢰성 있게 드러낼 수 있음을 입증한다.