[論文レビュー] Nationality and Region Prediction from Names: A Comparative Study of Neural Models and Large Language Models

Keito Inoshita|arXiv (Cornell University)|Jan 13, 2026

Names, Identity, and Discrimination Research被引用数 1

ひとこと要約

この論文は六つのニューラルモデルと六つのLLM prompting戦略を系統的に比較し、名前から国籍と地域を予測する際にLLMがニューラルモデルを上回ることを示し、粒度レベルが粗くなると性能ギャップが縮小し、誤りパターンが異なることを明らかにしている。

ABSTRACT

Predicting nationality from personal names has practical value in marketing, demographic research, and genealogical studies. Conventional neural models learn statistical correspondences between names and nationalities from task-specific training data, posing challenges in generalizing to low-frequency nationalities and distinguishing similar nationalities within the same region. Large language models (LLMs) have the potential to address these challenges by leveraging world knowledge acquired during pre-training. In this study, we comprehensively compare neural models and LLMs on nationality prediction, evaluating six neural models and six LLM prompting strategies across three granularity levels (nationality, region, and continent), with frequency-based stratified analysis and error analysis. Results show that LLMs outperform neural models at all granularity levels, with the gap narrowing as granularity becomes coarser. Simple machine learning methods exhibit the highest frequency robustness, while pre-trained models and LLMs show degradation for low-frequency nationalities. Error analysis reveals that LLMs tend to make ``near-miss'' errors, predicting the correct region even when nationality is incorrect, whereas neural models exhibit more cross-regional errors and bias toward high-frequency classes. These findings indicate that LLM superiority stems from world knowledge, model selection should consider required granularity, and evaluation should account for error quality beyond accuracy.

研究の動機と目的

• マーケティング、人口統計、系図学の応用を目的とした個人名からの国籍/地域予測の動機づけ。
• 頻度が異なる国籍および地域内の区分で、ニューラルモデルとLLMが一般化するかを評価。
• 国籍・地域・大陸という三つの粒度レベルで予測性能を分析し、誤りパターンを特定。
• 知識集約型分類タスクにおけるLLMの能力に対するプロンプト設計とモデル選択の影響を調査。

提案手法

• 文字n-gramを用いたSVM、fastText、CNN、BiLSTM、CANINE、XLM-RoBERTaの六つのニューラルベースラインを評価。
• ゼロショット、Few-shot、Chain-of-Thought、Self-Consistency、Least-to-Most、Self-Reflectionの六つのLLM prompting戦略を評価。
• name2nat由来データセットを99の国籍に絞り（train/val/test分割は8:1:1）、層化サンプリングを実施。
• 精度、Macro-F1、Precision@k（k=2,3,5）、および頻度ベースの層別分析（Head/Mid/Tail）で性能を評価。
• ニューラルモデルとGPT-4.1-miniによるLLM promptingをAPI経由で3回の乱数種で実行し、平均±標準偏差を報告。
• 国籍のような細粒度予測と地域・大陸といった粗粒度予測を比較する階層的評価フレームワークを提供し、誤分類タイプを分析。

実験結果

リサーチクエスチョン

• RQ1 名前からの国籍・地域予測において、ニューラルモデルと大規模言語モデルは異なる粒度レベルでどう比較されるか。
• RQ2 このタスクで事前学習済みの世界知識を最も有効に活用する prompting戦略は何か、低頻度の国籍予測の頑健性はどうか。
• RQ3 予測粒度がニューラルモデルとLLMの間の性能ギャップにどう影響するか、モデル選択には何を示唆するか。
• RQ4 このタスクにおけるLLMとニューラルモデルの定性的な誤りパターンは何か（ニアミス型 vs 跨地域誤り）。

主な発見

• LLMsは国籍予測を全ての粒度レベルでニューラルモデルより有意に上回る。
• 粒度が粗くなる（国籍→地域→大陸）につれてLLMとニューラルモデルの性能ギャップが縮小する。
• 高頻度の国籍には単純な機械学習法が頑健だが、事前学習済みモデルやLLMは低頻度国籍で性能が低下する。
• LLMsは正確な国籍が間違いでも地域として近い誤りをする一方、ニューラルモデルは跨地域誤りや高頻度クラスへの偏りが強い。
• プロンプト設計がLLMの性能に影響を与え、Self-ConsistencyおよびZero-shot/Few-shot系が本研究で強い結果を示す。