[論文レビュー] Dialectograms: Machine Learning Differences between Discursive Communities

Thyge Enggaard, August Lohse+2 more|arXiv (Cornell University)|Feb 11, 2023

Social Media and Politics被引用数 5

ひとこと要約

本稿では、語の分散表現を用いて、話題の語の使用において、議論的コミュニティがどのように異なるかを視覚的・定量的にマッピングする、新しい非教師あり手法「ダイアレクトグラム」を紹介する。単語レベルの違いにとどまらず、埋め込み空間全体を分析することで、感情的極端化や政治的評価の相違といった、微細な言語的差異を、米国の2つの政治的サブレディットで明らかにした。既存の測定法が希少語や多義語に偏るという限界を克服した。

ABSTRACT

Word embeddings provide an unsupervised way to understand differences in word usage between discursive communities. A number of recent papers have focused on identifying words that are used differently by two or more communities. But word embeddings are complex, high-dimensional spaces and a focus on identifying differences only captures a fraction of their richness. Here, we take a step towards leveraging the richness of the full embedding space, by using word embeddings to map out how words are used differently. Specifically, we describe the construction of dialectograms, an unsupervised way to visually explore the characteristic ways in which each community use a focal word. Based on these dialectograms, we provide a new measure of the degree to which words are used differently that overcomes the tendency for existing measures to pick out low frequent or polysemous words. We apply our methods to explore the discourses of two US political subreddits and show how our methods identify stark affective polarisation of politicians and political entities, differences in the assessment of proper political action as well as disagreement about whether certain issues require political intervention at all.

研究の動機と目的

• 議論的コミュニティにおける孤立した単語の違いにのみ焦点を当てる既存手法の限界を是正すること。
• 疎で高次元のベクトル比較に依存するのではなく、語の分散表現空間の豊かさを最大限に活用すること。
• 特定の語が各コミュニティでどのように特徴的かつ異なる方法で使われているかを、視覚的かつ定量的に探査するためのツールを開発すること。
• 希少語や多義語に偏らない、レキシカルな乖離の強固な測定法を構築すること。
• 実世界の政治的ディス course にこの手法を適用し、コミュニティ間での政治的言語の構造的差を明らかにすること。

提案手法

• 事前学習済み言語モデルを用いて、複数の議論的コミュニティから得たテキストコーパスの語の分散表現を構築する。
• 各焦点語について、その埋め込みベクトルを抽出し、コミュニティ固有の埋め込み空間内での分布を分析する。
• 各コミュニティの意味的空間内における語の埋め込みの空間的クラスタリングおよび方向的シフトを可視化することで、ダイアレクトグラムを生成する。
• コサイン類似度や方向的分散といった、埋め込み空間の乖離を測る統計的指標を用いて、使用パターンの差を定量化する。
• 意味的中心性と分布的広がりの両方を考慮した新たな乖離測度を導入し、希少語や曖昧語に偏らないようにする。
• 米国の2つの政治的サブレディット（r/Political_Webcomic と r/Political_StackExchange）を対象に、政治的ディス course の差を分析することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 孤立した単語比較を超えて、議論的コミュニティ間の語の使用に関する全範囲の差を、どのように視覚化・定量化できるか。
• RQ2 語の分散表現の空間的構造が、コミュニティ固有の言語的パターンを捉える上で果たす役割は何か。
• RQ3 なぜ既存のレキシカルな乖離測定法が、希少語や多義語に偏るため、意味のある差を捉え損なうのか。
• RQ4 政治的サブレディットでは、政治的用語の感情的および評価的使用にどの程度の相違が見られるのか。
• RQ5 ダイアレクトグラムは、政治的干渉の必要性についての合意の欠如といった、政治的ディス course の構造的差を明らかにできるか。

主な発見

• ダイアレクトグラムは、政治家や政治的実体の描写における顕著な感情的極端化を明確に示しており、各サブレディットで異なる感情的価値が明確に分離されている。
• この手法は、特定の行動が正当とされるか否かといった、コミュニティごとの政治的行動評価の系統的な差を同定している。
• 特定の問題が政治的干渉を要するかどうかという認識の違いが、関連語の意味的配置の差として顕在しており、コミュニティ間で異なる。
• 提案された乖離測度は、希少語や多義語に敏感でないため、既存の指標を上回る性能を示し、より安定的かつ解釈可能な結果をもたらしている。
• 分析から、従来の単語レベル比較手法では捉えきれない、語の分散表現に内在する豊かな構造的差が明らかになった。
• 本手法は、孤立した単語の違いに注目する標準的なNLP技術では見えない、微細でコミュニティ固有の意味的パターンを解き明かしている。