[論文レビュー] Combining Prediction and Interpretation in Decision Trees (PrInDT) -- a Linguistic Example

Claus Weihs, Sarah Buschfeld|arXiv (Cornell University)|Mar 3, 2021

Natural Language Processing Techniques参考文献 5被引用数 5

ひとこと要約

本稿では、言語的データ解析における予測精度と解釈可能性を統合する新しい統計的手法、PrInDTを紹介する。条件付き推論木とリサンプリング技術（特にアンダースマッピング）を統合することで、子供のL1英語における主語代名詞の実現（ゼロ vs. 実現）に関して、頑健で言語的に意味のあるルールを同定し、予測力（AUC最高0.85）と解釈可能性の両方を達成した。3,941回のリサンプリング木を用いて評価された。

ABSTRACT

In this paper, we show that conditional inference trees and ensembles are suitable methods for modeling linguistic variation. As against earlier linguistic applications, however, we claim that their suitability is strongly increased if we combine prediction and interpretation. To that end, we have developed a statistical method, PrInDT (Prediction and Interpretation with Decision Trees), which we introduce and discuss in the present paper.

研究の動機と目的

• 標準的でない発話形態の研究において、トークン頻度が低く、データが非対称であるという課題に対処すること。
• 予測力と解釈可能性のどちらか一方に重点を置く伝統的な統計モデルの限界を克服すること。
• 解釈可能性と高い予測性能の両方を満たす統合的アプローチを開発し、言語的および統計的視点から同時にモデルを評価すること。
• シンガポールおよびイギリスの子供の言語データを用いて、主語代名詞の実現（ゼロ vs. 実現）を、言語外的および言語的変数の関数としてモデル化すること。
• 解釈可能な木のアンサンブルが、社会言語的変化の体系的ではあるが変動しやすい性質をよりよく反映し、モデルの頑健性を向上させることを示すこと。

提案手法

• 言語外的変数（民族的背景（ETH）、年齢（AGE）、性別（SEX）、言語的背景（LiBa）、平均発話長（MLU））に加え、言語的変数（PRN）を用いて、主語代名詞の実現（ゼロまたは実現）という二値の結果をモデル化するため、条件付き推論木を適用する。
• クラスの非対称性に対処するため、繰り返しランダムアンダースマッピングに基づくリサンプリング戦略を実装し、3,941個のリサンプリング済みデータセットを生成して個々の木を学習させる。
• 2つの基準（予測力（AUCと正答率で測定）と解釈可能性（スプリットの明確さと言語的妥当性））を用いて各木を評価する。
• 解釈可能性と予測精度の両方を最適化した3つの最良の木を選択する（AUC > 0.85、正答率 > 0.75）。
• 最良の木からアンサンブルを構築し、頑健性と代表性を向上させる。3,941本の木からなるアンサンブルは正答率0.690、AUC 0.78を達成した。
• アンサンブルにおける予測変数の重要度順位を導入し、ランダムフォレストの変数重要度と同様の方法で解釈性を向上させ、言語的解釈を支援する。

実験結果

リサーチクエスチョン

• RQ1 子供のL1英語習得における主語代名詞の実現（ゼロ対実現）に、どの言語外的および言語的変数が顕著に影響を与えるか？
• RQ2 小規模で非対称な言語的データセットにおいて、意思決定木モデルをどのように最適化すれば、高い予測精度と強い解釈可能性を同時に達成できるか？
• RQ3 意思決定木のアンサンブルは、社会言語的変化の体系的ではあるが変動しやすい性質をどれほどよく反映し、モデルの頑健性を向上させるか？
• RQ4 PrInDTのようなリサンプリングベースの手法は、ゼロ代名詞のような低頻度の言語現象における過学習や誤った発見のリスクを軽減できるか？
• RQ5 言語理論や先行の経験的知見をモデル構築に統合することで、予測性能を損なわせることなく、解釈性を向上させることは可能か？

主な発見

• 最良の3つのPrInDT木は、AUC 0.85、正答率 0.75を達成し、高い予測性能を維持しながらも解釈可能であることが示された。
• 3,941本の木からなるアンサンブルは正答率0.690、AUC 0.78を達成し、個々の木の正答率が低くても、大きなアンサンブルがモデルの安定性と代表性を向上させることを示した。
• 解釈性は高いが予測力が低い木（例：AUC < 0.6）は、誤解を招くことが判明し、両基準を同時に評価する必要性が強調された。
• アンサンブルは社会言語的データに内在するランダム性と変動性を捉え、話者間および話者内変動を反映しながらも、体系的なパターンを失わないようにした。
• 本手法により、年齢、民族的背景、言語的背景が主語代名詞の実現に顕著に影響することを特定した。シンガポールの子供はゼロ代名詞の使用率が高く、入力駆動型の変化仮説を支持する結果となった。
• アンサンブルにおける予測変数の重要度順位は、年齢と民族的背景が最も影響力が強いことを示し、社会言語学的研究からの理論的期待と整合した。