[論文レビュー] Political Text Scaling Meets Computational Semantics

Federico Nanni, Goran Glavašš+3 more|arXiv (Cornell University)|Apr 12, 2019

Computational and Text Analysis Methods被引用数 6

ひとこと要約

本稿では、従来のbag-of-words表現に代わって分布的意味表現ベクトルを用いることで、テキスト内の政治的イデオロギーをよりよく捉えることができる、新しい非教師ありテキストスケーリング手法SemScaleを紹介する。単語埋め込みとグラフベースのクラスタリングを活用することで、特に多言語環境下でも、欧州議会の演説や政党マニフェストにおけるイデオロギー的位置を、Wordfishを上回る精度で捉えることが可能になる。

ABSTRACT

During the last fifteen years, automatic text scaling has become one of the key tools of the Text as Data community in political science. Prominent text scaling algorithms, however, rely on the assumption that latent positions can be captured just by leveraging the information about word frequencies in documents under study. We challenge this traditional view and present a new, semantically aware text scaling algorithm, SemScale, which combines recent developments in the area of computational linguistics with unsupervised graph-based clustering. We conduct an extensive quantitative analysis over a collection of speeches from the European Parliament in five different languages and from two different legislative terms, and show that a scaling approach relying on semantic document representations is often better at capturing known underlying political dimensions than the established frequency-based (i.e., symbolic) scaling method. We further validate our findings through a series of experiments focused on text preprocessing and feature selection, document representation, scaling of party manifestos, and a supervised extension of our algorithm. To catalyze further research on this new branch of text scaling methods, we release a Python implementation of SemScale with all included data sets and evaluation procedures.

研究の動機と目的

• 単語頻度に依存するのみで意味的意味を無視する従来のテキストスケーリング手法の限界に対処すること。
• 分布的意味論を用いて単語類似度をモデル化することで、政治的立場をより正確に捉える意味的認識を持つテキストスケーリングアルゴリズムの開発。
• 複数の言語および立法期間にわたり、確立された頻度ベースの手法（例：Wordfish）と比較して、提案手法の性能を評価すること。
• 語彙的変動に対する感受性を低下させつつ、既知のイデオロギー次元との整合性を向上させる意味的表現の利点を示すこと。
• 今後の意味的テキストスケーリング分野の研究を促進するため、再現可能でオープンソースの実装を提供すること。

提案手法

• ドキュメントの意味的表現を保ちつつ語彙ノイズを低減するため、ドキュメントごとに単語埋め込みの平均値を用いて、生の単語頻度を密度的かつ分散型の単語埋め込み（例：skip-gram や CBOW モデルからのもの）に置き換える。
• ドキュメントごとに単語埋め込みの平均値をとることで、意味的コンテンツを保持しつつ、文書表現を構築する。
• 意味的文書表現から潜在的なイデオロギー的位置を推定するために、非教師ありのグラフベースのクラスタリングアルゴリズムを適用する。
• 実行ごとの一貫性と再現可能性を保証するため、確率的でない決定論的フレームワークを採用する。
• 2つの基準文書（例：極左・極右）を組み込むことで、SemScaleを教師あり設定に拡張する。
• 政党マニフェスト全体を意味空間で表現するための政党埋め込みを導入し、大規模なマニフェストコレクションのスケーラブルな分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 語彙的意味表現が、頻度ベースの手法と比較して、既知の政治的次元を捉えるテキストスケーリングの精度を向上させることができるか？
• RQ2 SemScaleは、複数の言語および立法期間において、欧州議会の演説をスケーリングする際に、どの程度の性能を示すか？
• RQ3 意味的情報は、語彙的変動に対する感受性をどの程度低減させつつ、イデオロギー的整合性を維持するか？
• RQ4 2つの基準文書のみを用いる最小限の教師あり情報が、弱教師あり設定でスケーリング性能を顕著に向上させるか？
• RQ5 意味的表現から導出される政党埋め込みは、マニフェスト分析のスケーラビリティと解釈可能性を向上させることができるか？

主な発見

• RILEデータを用いて政党マニフェスト全体をスケーリングした際、SemScaleは真値の右翼−左翼次元との相関係数 r = 0.70 を達成したのに対し、Wordfishは r = 0.53 にとどまった。
• 多言語環境下では、SemScaleがEU統合次元を捉える際、5か国語で相関係数が 0.63 から 0.80 の範囲でWordfishを常に上回った。
• 2つの基準文書を用いたSemScaleの教師あり拡張は、真値との相関係数を r = 0.80 まで向上させた（非教師ありモードでは r = 0.70）。これは最小限の教師あり情報の価値を示している。
• 意味的スケーリングは、高頻度語彙項目への依存を軽減し、名詞や固有名詞などの意味的意味を持つ語彙に焦点を当てるため、解釈可能性が向上した。
• 本手法は、時間的期間および言語にかかわらず安定した性能を示し、特に語彙的重複が少ないが意味的類似性が高いケースにおいて、スピーチおよびマニフェストデータの両方で一貫した性能向上を示した。
• SemScaleのPython実装、データセット、評価手順の公開により、再現性が確保され、今後の意味的テキストスケーリング分野の研究を支援する基盤が整った。