[논문 리뷰] Identification, Interpretability, and Bayesian Word Embeddings

Adam M. Lauretig|arXiv (Cornell University)|2019. 04. 02.

Topic Modeling참고 문헌 41인용 수 4

한 줄 요약

이 논문은 사회과학 연구에서 표준 단어 임베딩의 식별성과 해석 가능성 문제를 해결하기 위해 자동 관련성 결정(Automatic Relevance Determination)을 갖춘 베이지안 단어 임베딩을 소개한다. 임베딩을 베이지안 잠재변수로 모델링하고 이론 기반 단어로 차원을 고정함으로써, 회귀 분석에 적합하고 해석 가능한 단어 표현을 가능하게 하며, 이는 미국의 취임 연설에서 1945년 이후 국제주의적 어조의 감소와, 외교 문서에서 엘리트의 전쟁적 성향과 미국의 적대적 외교 정책 행동 증가 사이의 유의미한 연관성을 드러낸다.

ABSTRACT

Social scientists have recently turned to analyzing text using tools from natural language processing like word embeddings to measure concepts like ideology, bias, and affinity. However, word embeddings are difficult to use in the regression framework familiar to social scientists: embeddings are are neither identified, nor directly interpretable. I offer two advances on standard embedding models to remedy these problems. First, I develop Bayesian Word Embeddings with Automatic Relevance Determination priors, relaxing the assumption that all embedding dimensions have equal weight. Second, I apply work identifying latent variable models to anchor the dimensions of the resulting embeddings, identifying them, and making them interpretable and usable in a regression. I then apply this model and anchoring approach to two cases, the shift in internationalist rhetoric in the American presidents' inaugural addresses, and the relationship between bellicosity in American foreign policy decision-makers' deliberations. I find that inaugural addresses became less internationalist after 1945, which goes against the conventional wisdom, and that an increase in bellicosity is associated with an increase in hostile actions by the United States, showing that elite deliberations are not cheap talk, and helping confirm the validity of the model.

연구 동기 및 목표

• 사회과학 연구에서 일반적으로 사용되는 회귀 모델에 활용하기 어려운 표준 단어 임베딩의 식별성과 해석 가능성 부족 문제를 해결하기 위해.
• 자동 관련성 결정(Automatic Relevance Determination) 사전분포를 통해 차원별 정규화가 가능한 베이지안 프레임워크를 개발하기 위해.
• 이론 기반 단어를 사용해 임베딩 차원을 고정함으로써 원인 규명을 위한 식별성과 해석 가능성을 확보하기 위해.
• 미국의 취임 연설과 탈기밀화된 외교관계의 미국(FRUS) 외교 문서를 포함한 두 가지 실제 코퍼스에 이 방법을 적용하기 위해.
• 외부 갈등 데이터와의 상관관계를 보여 주고 새로운 역사적 추세를 드러내어 모델의 타당성을 검증하기 위해.

제안 방법

• 변분 베이지안 추론을 사용해 후행분포를 추정하는 방식으로, 단어 임베딩을 베이지안 잠재변수 모델로 공식화한다.
• 임베딩 차원에 자동 관련성 결정(ARD) 사전분포를 통합하여, 각 차원에 대해 다르게 가중치를 설정하고 불필요한 차원을 식별할 수 있도록 한다.
• 이deals점 모델링 기법(예: Rivers, 2003; Clinton 등, 2004)을 응용해 의미적으로 유의미한 단어를 사용해 임베딩 차원을 고정한다.
• 이중 단계의 고정 절차를 적용한다: 첫째, '평화' 대비 '전쟁'과 같은 고대비 어휘 쌍을 식별해 차원의 끝점을 정의하고, 둘째, 이들 기준에 따라 모든 단어를 해당 차원에 스케일링한다.
• 외교 문서에서 임베딩된 전쟁적 성향과 실질적 갈등 사건 사이의 인과관계를 테스트하기 위해 포isson 일반화선형모형(Poisson generalized linear model)을 사용한다.
• 외부 갈등 사건 수와의 비교를 통해 모델 출력을 검증하고, 모델 적합도와 내구성을 평가한다.

실험 결과

연구 질문

• RQ1 미국의 취임 연설에서 국제주의적 어조가 1945년 이후 감소했는가, 그리고 이 변화는 국제관계 분야의 통상적 인식과 모순되는가?
• RQ2 외교적 결정 과정에서 엘리트의 전쟁적 성향 수준이 실제로 미국의 외교 정책 적대성에 얼마나 잘 예측 가능한가?
• RQ3 자동 관련성 결정(ARD) 사전분포와 차원 고정을 적용한 베이지안 단어 임베딩을 사용해 정치적 텍스트에서 의미 개념의 해석 가능하고 회귀 분석에 적합한 측정치를 만들 수 있는가?
• RQ4 임베딩된 어조 측정치가 독립된 갈등 행동 데이터와 상관이 있는가? 이를 통해 모델의 구성 타당성이 검증되는가?
• RQ5 인과 사회과학 추론에 활용하기 위해 단어 임베딩을 어떻게 식별 가능하고 해석 가능하게 만들 수 있는가?

주요 결과

• 취임 연설 분석 결과, 1945년 이후 국제주의적 어조가 통계적으로 유의미하게 감소한 것으로 나타나, 글로벌 참여가 증가한다는 통상적 기대와 정면으로 배치된다.
• 이론 기반의 어휘 앵커를 사용해 베이지안 단어 임베딩 모델이 임베딩 차원을 성공적으로 식별하고 해석할 수 있었으며, 이는 회귀 분석에의 활용 가능성을 보장한다.
• 이전 2주간의 전쟁적 성향 점수에 표준편차 1단위의 증가가 미국 주도의 적대적 행동 사건 수에 통계적으로 유의미한 증가와 연관되어 있음을 포isson GLM(95% 신뢰구간 포함)을 통해 입증하였다.
• 모델의 전쟁적 성향 척도가 외부 갈등 데이터와 상관관계를 보이며, 엘리트 어조를 측정하는 데 있어 타당성과 신뢰성 있는 척도임을 뒷받침한다.
• 기존의 문서 수준의 텍스트-데이터 방법으로는 감지할 수 없었던 의미적 변화, 예를 들어 국제주의의 감소와 같은 변화도 탐지할 수 있다.
• ARD 사전분포의 사용으로 불필요한 임베딩 차원을 식별하고 가중치를 낮춤으로써 노이즈를 감소시키고, 모델의 해석 가능성과 효율성을 향상시켰다.