[論文レビュー] Words are Malleable: Computing Semantic Shifts in Political and Media Discourse

Hosein Azarbonyad, Mostafa Dehghani+4 more|arXiv (Cornell University)|Nov 15, 2017

Opinion Dynamics and Social Influence参考文献 33被引用数 15

ひとこと要約

本稿では、政治的政党や時間的時期といった異なる視点における語の意味的シフトを、視点別コーパスで学習された単語埋め込みを用いて検出するフレームワークを提案する。線形マッピングと近隣類似度を用いた埋め込み空間間の比較により、著者らは、意味的シフトが時間的変化だけでなく、社会的・イデオロギー的文脈においても生じることを示し、統合された指標がイデオロギー検出や要約タスクにおいて個々のアプローチを上回ることを明らかにした。

ABSTRACT

Recently, researchers started to pay attention to the detection of temporal shifts in the meaning of words. However, most (if not all) of these approaches restricted their efforts to uncovering change over time, thus neglecting other valuable dimensions such as social or political variability. We propose an approach for detecting semantic shifts between different viewpoints--broadly defined as a set of texts that share a specific metadata feature, which can be a time-period, but also a social entity such as a political party. For each viewpoint, we learn a semantic space in which each word is represented as a low dimensional neural embedded vector. The challenge is to compare the meaning of a word in one space to its meaning in another space and measure the size of the semantic shifts. We compare the effectiveness of a measure based on optimal transformations between the two spaces with a measure based on the similarity of the neighbors of the word in the respective spaces. Our experiments demonstrate that the combination of these two performs best. We show that the semantic shifts not only occur over time, but also along different viewpoints in a short period of time. For evaluation, we demonstrate how this approach captures meaningful semantic shifts and can help improve other tasks such as the contrastive viewpoint summarization and ideology detection (measured as classification accuracy) in political texts. We also show that the two laws of semantic change which were empirically shown to hold for temporal shifts also hold for shifts across viewpoints. These laws state that frequent words are less likely to shift meaning while words with many senses are more likely to do so.

研究の動機と目的

• 時間的変化に加え、政治的政党などの社会的・政治的視点間における意味的シフトを研究すること。
• 異なる視点別コーパスで学習された単語埋め込み間の意味的シフトを定量化する手法を開発すること。
• 既知の意味的変化の法則（例：頻度効果や多義的性質の影響）が、時間的変化にとどまらず、イデオロギー的・社会的次元にも適用されるかどうかを検証すること。
• 計算された単語の安定性指標を用いて、対照的視点要約やイデオロギー検出といった下流NLPタスクを改善すること。
• 本フレームワークが、政治演説やマスコミテキストを含む現実の議論に適用可能かどうかを検討すること。

提案手法

• 視点ラベル付きコーパスを用いて、分布的意味論に基づき、各視点（例：英国議会における与党と労働党）ごとに別々の単語埋め込み空間を学習する。
• 最適輸送法や回帰を用いた線形変換を適用し、1つの埋め込み空間の単語ベクトルを別の空間にマッピングすることで、異なる空間間での意味的類似度を評価する。
• グラフベースの近隣類似度指標を構築し、各視点の埋め込み空間内で、隣接語のコサイン類似度に基づいて単語類似度を計算する。
• 線形マッピングと近隣類似度を統合したハイブリッド安定性指標を構築し、より高い耐性と性能を実現する。
• 得られた単語安定性スコアを、文書分類や対照的要約といった下流タスクの特徴量として使用する。
• 英国議会の会議録およびニューヨーク・タイムズのデータセットを用いてフレームワークを評価し、異なる視点ペアや時間的期間における性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 意味的シフトは、時間的変化に加え、政治的・社会的視点の違いに対してもどれほど顕著に現れるのか。
• RQ2 線形マッピングと近隣類似度指標は、視点別単語埋め込み空間間の意味的シフトを検出するためにどれほど有効か。
• RQ3 意味的変化の既知の法則（例：頻度に従う法則（頻度の高い語は安定する）や、革新の法則（多義語はより不安定になる））が、時間的次元にとどまらず、政治的イデオロギーなどの非時間的次元に対しても成り立つかどうか。
• RQ4 単語の安定性指標は、イデオロギー検出や対照的視点要約といった下流NLPタスクの性能を向上させることができるか。
• RQ5 拡張語（不安定な語）の数が、文書レベルの政党分類タスクにおける分類性能に与える影響はいかほどか。

主な発見

• 線形マッピングと近隣類似度指標の組み合わせが、意味的シフト検出において最も高い性能を示し、単独での手法を上回った。
• 意味的シフトは時間的変化だけでなく、与党と労働党のMPが「民主主義」に対して異なる解釈を示すなど、政党間でも観察された。
• 頻度に従う法則（頻度の高い語は安定する）は単語の安定性を強く予測したが、多義的性質による不安定化の法則（多義語はより不安定）は僅かな影響にとどまった。
• 本研究では、より具体的な語は視点の違いに対して感受性が低く、意味的安定性が高いため、新たな法則を提唱した：より具体的な語は、視点の違いに対して感受性が低い。
• 最大5語の拡張語（不安定語）を追加すると、政党分類のF1スコアが向上したが、5語を超えると文書の類似度が上昇し、性能が低下した。
• 本フレームワークは、対照的視点要約やイデオロギー検出の両方で効果的に向上させ、異なるグループ間での議論の相違を同定する実用的価値を示した。