[論文レビュー] A Hierarchy of Limitations in Machine Learning

Momin M. Malik|arXiv (Cornell University)|Feb 12, 2020

Explainable Artificial Intelligence (XAI)参考文献 232被引用数 49

ひとこと要約

Structured, multi-level critique of the fundamental conceptual, procedural, and statistical limitations of machine learning when applied to society, focusing on how downstream consequences propagate through a hierarchy from quantification to cross-validation.

ABSTRACT

"All models are wrong, but some are useful", wrote George E. P. Box (1979). Machine learning has focused on the usefulness of probability models for prediction in social systems, but is only now coming to grips with the ways in which these models are wrong---and the consequences of those shortcomings. This paper attempts a comprehensive, structured overview of the specific conceptual, procedural, and statistical limitations of models in machine learning when applied to society. Machine learning modelers themselves can use the described hierarchy to identify possible failure points and think through how to address them, and consumers of machine learning models can know what to question when confronted with the decision about if, where, and how to apply machine learning. The limitations go from commitments inherent in quantification itself, through to showing how unmodeled dependencies can lead to cross-validation being overly optimistic as a way of assessing model performance.

研究の動機と目的

• 社会システムに適用される機械学習の根本的な仮定と制約を特定し、整理する。
• 依存関係と測定の選択がモデル評価をどのように偏らせるかを説明し、特にクロスバリデーションを通じての影響を明らかにする。
• 機械学習のみのワークフローの限界に対処するために、混合研究法と代替アプローチがどのように有効であるかを提案する。
• 実務上、モデル開発者とユーザーに対して、どこでMLの使用を問い直すべきかの指針を提供する。

提案手法

• 機械学習の利用を導く4つの意思決定階層を提案する： (1) 定量的分析を定性的分析より重視、(2) その他のモデリングより確率的モデリングを重視、(3) 説明的モデリングより予測モデリングを重視、(4) 評価ツールとしてのクロスバリデーションを重視。
• 量化からクロスバリデーションへと制約が伝播することを示す論理的な保全連鎖（チェーン・オブ・カストディ）の概念を展開する。
• 依存関係がクロスバリデーションを偏らせる仕組みを理論化するために、最適化子/楽観主義の考え方（Efron, 2004）の拡張を導入する。
• 機械学習の抽象化と社会的文脈を結びつけるために、哲学・社会学・統計学・機械学習の批評を取り入れる。
• 測定における構成概念、潜在変数、グラウンドトゥルースと構成概念の役割を引用・論じる。

実験結果

リサーチクエスチョン

• RQ1 社会分析に機械学習を用いる際の根本的な仮定と限界は何か？
• RQ2 依存関係と測定の選択はクロスバリデーションとモデル評価をどのようにバイアスするのか？
• RQ3 社会現象の理解において、定量的・確率的・予測的アプローチを優先することはどのような影響をもたらすのか？
• RQ4 社会へ適用されるMLの限界に対して、混合方法はどのように対処できるか？
• RQ5 モデル開発者と利用者がMLの主張をより効果的に問うことができる枠組みは何か？

主な発見

• 量化・構成概念・クロスバリデーションを通じて伝播する階層的な制約の連鎖が存在する。
• 依存関係が存在し、適切に考慮されていない場合、クロスバリデーションは一般化可能性について過度に楽観的になる可能性がある。
• 量化は中心傾向の見方を課し、意味づけと実生活の経験を過度に単純化・誤認させることがある。
• 構成概念と測定の問題は、潜在因子を誤って表すグラウンド・トゥルースの代理指標につながることがある。
• 混合方法と代替的な検証アプローチは、いくつかの機械学習の限界を緩和できる可能性があるが、綿密な協働と方法論的な作業を必要とする。