[論文レビュー] Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods

Maria Ryskina, Ella Rabinovich+3 more|arXiv (Cornell University)|Jan 6, 2020

Language and cultural evolution参考文献 31被引用数 13

ひとこと要約

この論文は、大規模な歴史的英語コーパスを用いた分布的意味論を用いて、造語の出現を駆動する言語的要因を調査する。両方の要因として、意味的疎らさと意味的近縁語の頻度上昇が、新しい語の形成を予測すると提案するが、後者の方がより強い実証的根拠を示しており、文化的・技術的変化といった言語外要因が語彙的革新を形作る役割を果たしていることを強調する。

ABSTRACT

We perform statistical analysis of the phenomenon of neology, the process by which new words emerge in a language, using large diachronic corpora of English. We investigate the importance of two factors, semantic sparsity and frequency growth rates of semantic neighbors, formalized in the distributional semantics paradigm. We show that both factors are predictive of word emergence although we find more support for the latter hypothesis. Besides presenting a new linguistic application of distributional semantics, this study tackles the linguistic question of the role of language-internal factors (in our case, sparsity) in language change motivated by language-external factors (reflected in frequency growth).

研究の動機と目的

• 孤立した新語事例の研究にとどまらず、造語出現の背後にあるシステム的要因を調査すること。
• 言語内要因（意味的疎らさ）と言語外要因（頻度上昇）が、意味空間における新語の出現位置にどのように同時に影響を与えるかを検討すること。
• 語の埋め込みと歴史的コーパスを用いて、供給駆動型（疎らさ）と需要駆動型（頻度上昇）の2つの仮説を操作的定義し、検証すること。
• 意味の変容にとどまらず、語の出現を分析する分布的意味論の応用を拡張し、言語変化に関する新たな計算的知見を提供すること。

提案手法

• 研究は、時間的期間にわたる大規模な歴史的コーパス上で学習された語の埋め込みを用いて、時間的変化に伴う意味空間を表現する。
• 意味的疎らさは、潜在的な造語の意味的クラスタの周囲の近接領域における既存語の密度の逆数として定量化される。
• 意味的近縁語の頻度上昇率は、コーパス内の時間帯に分けた頻度変化を追跡することで算出される。
• 語の文脈的特徴と分布的基準を用いて、コーパスデータから自動的に造語を同定し、テストセットを構成する。
• メトリクスの分布を比較するための非造語のコントロールセットを構築する。
• 造語群とコントロール群との間で、疎らさと頻度上昇メトリクスを統計的に比較することで仮説を検証する。

実験結果

リサーチクエスチョン

• RQ1 語の埋め込み近傍における意味的疎らさは、新しい語の出現をどの程度予測できるか？
• RQ2 意味的近縁語の頻度上昇は、造語形成をどの程度強く予測するか？
• RQ3 言語外要因（頻度上昇として反映される）は、言語内要因（疎らさ）よりも、造語出現により顕著な影響を及えるのか？
• RQ4 分布的意味論を用いて、意味の変容にとどまらず、新しい語彙的単位の体系的出現をモデル化できるか？

主な発見

• 意味的近縁語の頻度上昇率は、意味的疎らさよりも、造語出現をはるかに強く予測する。
• 意味的疎らさは、正の相関を示すが、統計的有意性はやや低い。これは、供給駆動型仮説が限定的に支持されることを示している。
• 造語は一貫して意味的に整合性のある近縁語のグループに配置され、最近接近縁語は、置換関係（例：email:letter）や共存関係（例：hip-hop:jazz）といった概念的関係を反映している。
• 文化的・技術的変化といった言語外要因（頻度トレンドとして反映される）が、純粋に内部構造的要因よりも、語の出現をより強く予測する実証的証拠を提供している。
• モデルは、語の置換、省略、合成語における綴りの変化（例：lifestyle:life-style）といったパターンを効果的に同定できており、意味的進化に対する感受性を示している。
• 本研究は、語の埋め込みを用いて意味的疎らさを定量的に操作的定義する初の試みであり、分布的意味論における語彙的革新の研究に新たな道を開いた。