[論文レビュー] It's All in the Name: A Character Based Approach To Infer Religion

Rochana Chaturvedi, Sugat Chaturvedi|arXiv (Cornell University)|Oct 27, 2020

Names, Identity, and Discrimination Research被引用数 4

ひとこと要約

本稿では、南アジアの個人の名前から宗教を推定する文字ベースの深層学習手法を提案する。名前の言語的パターンを活用することで、未観測の名前に対しても高い精度を達成する。個人の名前と両親または配偶者の名前を組み合わせ、予測を解釈するためにレイヤーごとの関連性プロパゲーション（LRP）を用いる。この手法は、従来の辞書ベースのアプローチを上回り、音声的および表記的特徴が宗教的・言語的由来をどのように反映するかを明らかにする。

ABSTRACT

Demographic inference from text has received a surge of attention in the field of natural language processing in the last decade. In this paper, we use personal names to infer religion in South Asia - where religion is a salient social division, and yet, disaggregated data on it remains scarce. Existing work predicts religion using dictionary based method, and therefore, can not classify unseen names. We use character based models which learn character patterns and, therefore, can classify unseen names as well with high accuracy. These models are also much faster and can easily be scaled to large data sets. We improve our classifier by combining the name of an individual with that of their parent/spouse and achieve remarkably high accuracy. Finally, we trace the classification decisions of a convolutional neural network model using layer-wise relevance propagation which can explain the predictions of complex non-linear classifiers and circumvent their purported black box nature. We show how character patterns learned by the classifier are rooted in the linguistic origins of names.

研究の動機と目的

• 南アジアにおける、特に個人レベルでの詳細な宗教的属性データの不足に対処すること。
• 未観測の名前を分類できない従来の辞書ベースの手法の限界を克服すること。
• 名前の文字レベルのパターンを用いて、スケーラブルで高精度な宗教推定手法を開発すること。
• レイヤーごとの関連性プロパゲーション（LRP）を用いて予測を解釈し、深層学習分類器のブラックボックス性を低減すること。
• 名前ベースの宗教推定の有用性を、大規模な社会科学的研究および政策評価において示すこと。

提案手法

• モデルは、名前の局所的パターンを学習できる文字レベルの埋め込みを用い、未観測の名前への一般化を可能にする。
• 時間方向に最大プーリングを適用した、1層の畳み込みニューラルネットワーク（CNN）層が、階層的な文字レベル特徴を抽出する。
• 不均衡な宗教クラスの分布に対処するため、バイナリクロスエントロピー損失とバランスの取れたクラスウェイトを用いて訓練する。
• 入力名前は固定長にゼロパディングされ、29–30次元の文字埋め込みに変換される。
• 最終出力は、各宗教の確率を出力するシグモイド活性化関数を用いた全結合層である。
• 予測の解釈のために、レイヤーごとの関連性プロパゲーション（LRP）が適用され、入力文字に関連性スコアが割り当てられる。

実験結果

リサーチクエスチョン

• RQ1 文字ベースの深層学習モデルは、未観測の名前に対しても、辞書ベースの手法よりも高い精度で宗教を推定できるか？
• RQ2 南アジアにおける名前の言語的・音声的パターンは、宗教的・言語的由来をどのように反映するか？
• RQ3 個人の名前と両親または配偶者の名前を組み合わせることで、宗教分類の精度を顕著に向上させることができるか？
• RQ4 LRPは、この文脈における複雑な非線形モデル（例：CNN）の意思決定プロセスをどの程度説明できるか？
• RQ5 ヒンズー教、ムスリム、キリスト教、シク教、ブルマニズム、ジャイナ教のコミュニティに属する名前の文字レベルのパターンは、どのように異なるか？

主な発見

• 文字ベースのCNNモデルは、従来の辞書ベースの手法よりも顕著に高い精度を達成し、特に未観測の名前に対して顕著である。
• 個人の名前と両親または配偶者の名前を組み合わせることで、分類精度が著しく高い水準にまで向上する。
• モデルは、ムスリムの名前に 'F'、'Q'、'Z' といった文字の相対的頻度が高く、サーンスクリットに存在しないアラビア語の音素を反映していることを特定した。
• ヒンズー教、シク教、ジャイナ教、ブルマニズムの名前は、共通のサーンスクリット語またはプラクリット語のルートを持つため、類似した文字分布を示す。
• LRP解析により、モデルが「Q」や「Z」のような言語的に意味のある文字パターンに依存して予測を行っていることが確認された。
• n-gram特徴とTF-IDFを用いた線形モデル（SVM、LR）も高い性能を示したが、CNNモデルが特に希少または未観測の名前を扱う際、それらを上回った。