[論文レビュー] Identification, Interpretability, and Bayesian Word Embeddings

Adam M. Lauretig|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling参考文献 41被引用数 4

ひとこと要約

この論文は、社会科学的研究における識別可能性と解釈可能性の問題を解決するため、自動関連決定（ARD）を用いたベイジアン単語埋め込みを導入する。単語埋め込みをベイジアン潜在変数としてモデル化し、理論的根拠に基づく語を用いて次元をアンカー化することで、回帰分析に適した解釈可能な単語表現が可能となり、これにより、1945年以降の米国大統領就任演説における国際的言説の低下や、外交文書におけるエリートの戦争的態度と米国の敵対的外国政策行動の増加との顕著な関連が明らかになった。

ABSTRACT

Social scientists have recently turned to analyzing text using tools from natural language processing like word embeddings to measure concepts like ideology, bias, and affinity. However, word embeddings are difficult to use in the regression framework familiar to social scientists: embeddings are are neither identified, nor directly interpretable. I offer two advances on standard embedding models to remedy these problems. First, I develop Bayesian Word Embeddings with Automatic Relevance Determination priors, relaxing the assumption that all embedding dimensions have equal weight. Second, I apply work identifying latent variable models to anchor the dimensions of the resulting embeddings, identifying them, and making them interpretable and usable in a regression. I then apply this model and anchoring approach to two cases, the shift in internationalist rhetoric in the American presidents' inaugural addresses, and the relationship between bellicosity in American foreign policy decision-makers' deliberations. I find that inaugural addresses became less internationalist after 1945, which goes against the conventional wisdom, and that an increase in bellicosity is associated with an increase in hostile actions by the United States, showing that elite deliberations are not cheap talk, and helping confirm the validity of the model.

研究の動機と目的

• 標準的な単語埋め込みには識別可能性と解釈可能性に欠ける点があるため、社会科学研究で一般的に用いられる回帰モデルへの応用が制限される問題を解決すること。
• 自動関連決定（ARD）事前分布を用いた次元ごとの正則化を可能にする、単語埋め込みのベイジアンフレームワークの開発。
• 理論的根拠に基づく語を用いて埋め込み次元をアンカー化することで、因果推論に適した識別可能性と解釈可能性を実現すること。
• 米国大統領就任演説と解密された「米国外交関係記録（FRUS）」外交文書という2つの実世界コーパスにこの手法を適用すること。
• 外部の紛争データと照らし合わせて、モデルの出力が一致することを示し、モデルの適合度と頑健性を評価することで、モデルを検証すること。

提案手法

• 変分ベイズ推論を用いて後確率推定を行うことで、単語埋め込みをベイジアン潜在変数モデルとして形式化する。
• 埋め込み次元に自動関連決定（ARD）事前分布を組み込み、次元ごとの重み付けを可能にし、不要な次元を特定する。
• 理想点モデルの識別技術（例：Rivers, 2003; Clinton et al., 2004）を応用し、意味的に意味のある語を用いて埋め込み次元をアンカー化する。
• 2段階のアンカリングプロセスを採用する：まず、「平和」と「戦争」のような対照的な語のペアを特定し、次元の端点を定義する。次に、これらの次元に沿ってすべての語をスケーリングする。
• 埋め込みによる戦争的態度と外交文書における物的紛争イベントの因果関係を検証するため、ポアソン一般化線形モデル（Poisson GLM）を用いる。
• 外部の紛争イベント数と照らし合わせてモデル出力を比較し、モデルの適合度と頑健性を評価することで、モデルを検証する。

実験結果

リサーチクエスチョン

• RQ1 1945年以降、米国大統領就任演説における国際的言説の強調は減少したのか。この傾向は国際関係理論における一般的な常識と矛盾するのか。
• RQ2 エリートの外交的議論における戦争的態度の程度は、実際に米国の外国政策における敵対的行動をどの程度予測できるのか。
• RQ3 ARD事前分布と次元アンカリングを用いたベイジアン単語埋め込みは、政治的テキストにおける意味的概念の解釈可能で回帰分析に適した測定に用いることができるか。
• RQ4 埋め込みによる言説の測定値は、独立した紛争行動データセットと相関するのか。これにより、モデルの構成妥当性が裏付けられるか。
• RQ5 因果推論に用いる社会科学研究の文脈で、単語埋め込みを識別可能で解釈可能にするにはどうすればよいか。

主な発見

• 就任演説の分析から、1945年以降に国際的言説の強調が統計的に有意に減少していることが判明し、グローバルな関与の拡大という一般的な期待とは矛盾する。
• ベイジアン単語埋め込みモデルは、理論的根拠に基づく語のアンカーを用いて、埋め込み次元の識別と解釈を成功裏に実現し、回帰分析への適用を可能にした。
• 前回の2週間分の戦争的態度スコアが1標準偏差上昇すると、ポアソンGLM（95％信頼区間付き）により、米国が主導する敵対的行動が統計的に有意に増加することが示された。
• モデルの戦争的態度スケールは外部の紛争データと相関しており、エリート言説の測定としての妥当性と信頼性を裏付けている。
• 従来のドキュメントレベルのテキスト・アズ・データ手法では検出できない、国際的言説の低下といった意味的シフトの検出が可能になった。
• ARD事前分布の使用により、不要な埋め込み次元を特定し、低減することでノイズが低減され、モデルの解釈可能性と効率性が向上した。