[論文レビュー] Stability of Syntactic Dialect Classification Over Space and Time

Jonathan Dunn, Sidney Wong|arXiv (Cornell University)|Sep 11, 2022

Linguistic Variation and Morphology被引用数 4

ひとこと要約

本研究では、12の英語方言を対象に、構造文法表現を用いた構文ベースの方言分類器の空間的・時間的安定性を評価する。分類性能の低下は時間経過に伴い予測可能であるが、ニュージーランド英語を除いては、国内の各地域における精度に顕著な差が見られ、方言モデルがすべての地域的集団を均等に表現していないこと、つまり文法的変異における空間的非均質性が顕在化していることが明らかになった。

ABSTRACT

This paper analyses the degree to which dialect classifiers based on syntactic representations remain stable over space and time. While previous work has shown that the combination of grammar induction and geospatial text classification produces robust dialect models, we do not know what influence both changing grammars and changing populations have on dialect models. This paper constructs a test set for 12 dialects of English that spans three years at monthly intervals with a fixed spatial distribution across 1,120 cities. Syntactic representations are formulated within the usage-based Construction Grammar paradigm (CxG). The decay rate of classification performance for each dialect over time allows us to identify regions undergoing syntactic change. And the distribution of classification accuracy within dialect regions allows us to identify the degree to which the grammar of a dialect is internally heterogeneous. The main contribution of this paper is to show that a rigorous evaluation of dialect classification models can be used to find both variation over space and change over time.

研究の動機と目的

• 地理的に分散したデータを用いて、構文ベースの方言分類モデルの時間的および空間的安定性を評価すること。
• 言語的および人口統計的変化が生じても、方言モデルが時間経過に伴い効果を保つのかを特定すること。
• 国内のすべての集団が同じように方言モデルに反映されているのか、それとも性能に空間的差異が生じるのかを調査すること。
• 構文的構造が多様な地理的・時間的文脈において方言的変異をどのように捉えられるかを評価すること。
• モデル性能の低下と空間的誤差パターンが、言語的変化および方言内部の非均質性を明らかにできることを示すこと。

提案手法

• 2019年から2021年までの3年間にわたり、12の英語方言を対象に、1,120都市のバランスの取れた月次テストセットを構築し、固定された空間的分布を維持した。
• 構造文法（CxG）を用いて構文的構造をモデル化し、各構造をバッグ・オブ・コンストラクション表現における特徴量として扱った。
• 2018年の固定期間を訓練データとして用い、線形SVM分類器を学習し、月次で性能を評価することで時間的安定性を測定した。
• 都市間の分類精度における空間的構造を測定するために、経験的ベイズ補正を施したモランのIを用いた空間自己相関分析を実施した。
• 誤差率の低下曲線を用いて、分類性能の時間的変化を特定し、一般的低下と方言固有の変化を区別した。
• マップを用いて都市レベルの精度を可視化し、国内の高精度・低精度地域を同定した。

実験結果

リサーチクエスチョン

• RQ1 異なる英語方言において、構文ベースの方言分類モデルの時間的安定性はどの程度保たれるか？
• RQ2 同一の方言領域内において、モデル性能は地理的場所によってどの程度変動するか？
• RQ3 分類性能の時間的低下率は、方言固有の言語的変化を明らかにできるか？
• RQ4 国内におけるモデル精度の変動はどの程度空間的に構造的であり、これは方言モデルの代表性にどのような意味を持つのか？
• RQ5 方言領域内において、内部の文法的非均質性のため、特定の集団が方言モデルによって適切に表現されない度合いはどの程度か？

主な発見

• 大多数の方言で、分類性能の低下が時間経過に伴い一貫して見られ、これは一般のモデル劣化を示しており、ニュージーランド英語を除いては方言固有の変化とは見なせない。
• ニュージーランド英語は最も顕著な時間的変動を示し、誤差分布の時間的変化が明確に検出されたことから、この方言に継続的な構文的変化が生じている可能性が示唆された。
• すべての国において、分類精度の空間的変動が顕著であり、モランのI値はアイルランドの0.17からマレーシアの0.70まで変動し、モデル性能に強い空間的構造があることが示された。
• 国内においても性能のばらつきは顕著で、例えばニュージーランドでは精度が8%から62%まで変動し、特にノースランドやサウスランドのような農村部や地理的に特異な地域で低精度が見られた。
• 米国とイギリスでは平均精度が最も高く（それぞれ79%および73%）、ニュージーランドは最も低かった（36%）ことから、この国ではモデルの一般化能力が集団全体にわたって弱いことが示された。
• 本研究では、最高の方言モデルですら、方言内すべての話者を均等に表現していないことが確認された。特に農村部や言語的に特異な地域では、性能が体系的に低くなる傾向が見られた。