[논문 리뷰] Political Text Scaling Meets Computational Semantics

Federico Nanni, Goran Glavašš외 3명|arXiv (Cornell University)|2019. 04. 12.

Computational and Text Analysis Methods인용 수 6

한 줄 요약

이 논문은 전통적인 단어 빈도 기반 표현 방식을 버리고 분포적 의미 벡터를 사용하여 정치적 이념을 더 잘 포착할 수 있도록 하는 새로운 비지도 학습 텍스트 스케일링 알고리즘인 SemScale을 소개한다. 단어 임베딩과 그래프 기반 클러스터링을 활용함으로써 SemScale은 지식 기반 정치적 차원과의 일치도를 크게 향상시켰으며, 특히 多국어 환경에서 유럽 의회 연설문과 정당 정책공약에서의 이념적 위치를 더 정확히 포착하는 데에 Wordfish를 능가한다.

ABSTRACT

During the last fifteen years, automatic text scaling has become one of the key tools of the Text as Data community in political science. Prominent text scaling algorithms, however, rely on the assumption that latent positions can be captured just by leveraging the information about word frequencies in documents under study. We challenge this traditional view and present a new, semantically aware text scaling algorithm, SemScale, which combines recent developments in the area of computational linguistics with unsupervised graph-based clustering. We conduct an extensive quantitative analysis over a collection of speeches from the European Parliament in five different languages and from two different legislative terms, and show that a scaling approach relying on semantic document representations is often better at capturing known underlying political dimensions than the established frequency-based (i.e., symbolic) scaling method. We further validate our findings through a series of experiments focused on text preprocessing and feature selection, document representation, scaling of party manifestos, and a supervised extension of our algorithm. To catalyze further research on this new branch of text scaling methods, we release a Python implementation of SemScale with all included data sets and evaluation procedures.

연구 동기 및 목표

• 단어 빈도에만 의존하고 의미적 정보를 忽略하는 전통적 텍스트 스케일링 방법의 한계를 해결하기 위해.
• 분포적 의미론을 통해 단어 유사도를 모델링함으로써 정치적 위치를 더 정확히 포착할 수 있는 의미 인식 텍스트 스케일링 알고리즘을 개발하기 위해.
• 여러 언어와 입법 기간 동안 기존의 빈도 기반 접근 방식(예: Wordfish)과 비교하여 제안된 방법의 성능을 평가하기 위해.
• 의미 표현 방식이 어휘 변동성에 대한 민감도를 줄이고 알려진 이념적 차원과의 일치도를 향상시키는 데서 유의미한 이점을 제공하는지 입증하기 위해.
• 향후 정치학 분야에서 의미 기반 텍스트 스케일링 연구를 촉진하기 위해 재현 가능하고 오픈소스로 구현된 도구를 제공하기 위해.

제안 방법

• 문서의 의미를 보존하면서 어휘 노이즈를 줄이기 위해, 원시 단어 빈도를 밀도 높은 분포적 단어 임베딩(예: skip-gram 또는 CBOW 모델에서 유도)으로 대체하여 문서를 표현하기 위해.
• 각 문서 내 단어 임베딩의 평균을 취해 문서 표현을 구성함으로써 의미적 내용을 유지하면서도 어휘의 노이즈를 감소시키기 위해.
• 의미 기반 문서 표현에서 잠재적인 이념적 위치를 추론하기 위해 비지도 기반 그래프 기반 클러스터링 알고리즘을 적용하기 위해.
• 실행 간 일관성과 재현 가능성을 보장하기 위해 결정론적이고 확률적이지 않은 프레임워크를 사용하기 위해.
• 두 개의 기준 텍스트(예: 극좌·극우)를 포함시켜 이념 척도를 锚정하기 위해 SemScale을 지도 학습 설정으로 확장하기 위해.
• 정당 전체의 정책공약을 의미 공간에서 표현할 수 있도록 하는 정당 임베딩을 도입하여 대규모 정책공약 컬렉션의 스케일 가능 분석을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 빈도 기반 방법과 비교하여 어휘의 의미 표현이 알려진 정치적 차원을 더 정확히 포착하는 데에 기여하는가?
• RQ2 유럽 의회 연설문의 스케일링에서 SemScale은 여러 언어와 입법 기간 동안 어떻게 성능을 발휘하는가?
• RQ3 의미 정보가 어휘 변동성에 대한 민감도를 어느 정도 감소시키며, 이데올로기적 일치도를 유지하는가?
• RQ4 단 두 개의 기준 텍스트만을 사용하는 최소한의 감독이 약한 감독 환경에서 스케일링 성능을 상당히 향상시키는가?
• RQ5 의미 표현에서 유도된 정당 임베딩이 정책공약 분석의 스케일 가능성과 해석 가능성에 기여하는가?

주요 결과

• RILE 데이터를 사용하여 전체 정당 정책공약을 스케일링할 때 SemScale은 지식 기반 오른쪽-왼쪽 이데올로기와 상관관계 r = 0.70을 기록하여 Wordfish(r = 0.53)를 뛰어넘었다.
• 다국어 환경에서 SemScale은 EU 통합 차원을 포착하는 데서 Wordfish를 일관되게 능가했으며, 다섯 개 언어에서 상관관계가 0.63에서 0.80 사이로 나타났다.
• 단 두 개의 기준 텍스트만을 사용하는 SemScale의 지도 학습 확장 버전은 지식 기반과의 상관계수를 r = 0.80으로 향상시켜 비지도 모드(r = 0.70) 대비 성능 향상을 입증했다. 이는 최소한의 감독의 가치를 보여준다.
• 의미 기반 스케일링은 고빈도 어휘 항목에 대한 의존도를 줄이며, 명사나 고유명사와 같은 의미적으로 유의미한 어휘에 초점을 맞춰 해석 가능성 향상을 이룬다.
• 시간 주기와 언어 간에 강건성을 보이며, 특히 어휘적 겹침이 낮지만 의미적으로 유사한 경우에 스피치 및 정책공약 데이터 모두에서 일관된 성능 향상을 보였다.
• SemScale의 파이썬 구현체, 데이터셋, 평가 절차의 공개는 재현 가능성을 보장하고 의미 기반 텍스트 스케일링 분야의 향후 연구를 지원한다.