[論文レビュー] To what extent should we trust AI models when they extrapolate?

Roozbeh Yousefzadeh, Xuenan Cao|arXiv (Cornell University)|Jan 27, 2022

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

本論文は、AIモデルの外挿（訓練データの範囲外での予測）を検出・報告する幾何的監査手法を提案する。実証的に、このような外挿が頻繁に発生し、社会的に重大な影響を及ぼすことが判明しており、しばしば認識されない。この手法は凸包解析を用いて、予測が外挿に依存しているかどうかを特定し、外挿の程度と次元を自動的に報告することを提唱することで、高リスクなAI応用分野における透明性と責任性を向上させる。

ABSTRACT

Many applications affecting human lives rely on models that have come to be known under the umbrella of machine learning and artificial intelligence. These AI models are usually complicated mathematical functions that map from an input space to an output space. Stakeholders are interested to know the rationales behind models' decisions and functional behavior. We study this functional behavior in relation to the data used to create the models. On this topic, scholars have often assumed that models do not extrapolate, i.e., they learn from their training samples and process new input by interpolation. This assumption is questionable: we show that models extrapolate frequently; the extent of extrapolation varies and can be socially consequential. We demonstrate that extrapolation happens for a substantial portion of datasets more than one would consider reasonable. How can we trust models if we do not know whether they are extrapolating? Given a model trained to recommend clinical procedures for patients, can we trust the recommendation when the model considers a patient older or younger than all the samples in the training set? If the training set is mostly Whites, to what extent can we trust its recommendations about Black and Hispanic patients? Which dimension (race, gender, or age) does extrapolation happen? Even if a model is trained on people of all races, it still may extrapolate in significant ways related to race. The leading question is, to what extent can we trust AI models when they process inputs that fall outside their training set? This paper investigates several social applications of AI, showing how models extrapolate without notice. We also look at different sub-spaces of extrapolation for specific individuals subject to AI models and report how these extrapolations can be interpreted, not mathematically, but from a humanistic point of view.

研究の動機と目的

• AIモデルが予測を行う際に主に内挿を行うのではなく外挿を行うという一般的な仮定に挑戦すること。
• AIモデルにおける外挿が頻繁に発生し、無視できないほど顕著であり、医療、金融、雇用分野において顕著な社会的影響を及ぼす可能性があることを実証すること。
• 連続的およびカテゴリカルな特徴の両方において外挿を特定・定量化できる、体系的な幾何的監査手法を開発すること。
• 外挿の報告をAIパイプラインに統合し、特にGDPRなどの規制下で透明性を高めることを提唱すること。
• 外挿の程度をモデルの複雑さと性能のトレードオフと結びつけることで、モデル選定を支援すること。

提案手法

• 訓練データの凸包（$\mathcal{H}^{tr}$）を定義し、すべての訓練サンプルの幾何的境界とする。境界内にある点は内挿、外にある点は外挿とみなす。
• 任意のテストサンプル $x$ に対して、$x$ が $\mathcal{H}^{tr}$ 内にあるか外にあるかを判定し、予測が内挿か外挿かを分類する。
• 幾何的分解を用いて、外挿に寄与する主な特徴（例：年齢、BMI、人種）を特定し、次元ごとの報告を可能にする。
• プライバシー上の懸念により訓練データの完全なアクセスが制限される場合、Blumらの手法などの近似技術を用いて凸包を推定する。
• 監査手順をAIパイプラインに統合し、各予測について外挿の程度と方向を自動的にログ記録・報告する。
• 統計的に著しく外挿が発生するモデルは、医療や刑事司法など感受性の高い分野において、人間によるレビューの対象とすべきであると提言する。

実験結果

リサーチクエスチョン

• RQ1 医療、給与予測、アルゴリズム取引といった実世界の応用において、AIモデルはどの程度外挿を行うのか？
• RQ2 連続的・カテゴリカルな混合特徴を持つモデルにおいて、外挿を体系的に検出・定量化する方法は何か？
• RQ3 高リスク意思決定に使われるAIモデルで、検出されない外挿が及ぼす社会的影響は何か？
• RQ4 外挿の程度とモデルの複雑さ・性能の関係は何か？ また、モデル選定に役立つ情報として利用可能か？
• RQ5 プライバシーを守りつつ解釈可能な方法で、AIパイプラインに外挿報告のための監査メカニズムを統合するにはどうすればよいか？

主な発見

• AIモデルは実世界の応用において頻繁に外挿を発生させており、テストサンプルの顕著な割合で外挿が発生しており、予想よりも多いことが判明した。
• 外挿は連続変数に限らない。訓練データに多様なグループが含まれていても、人種や性別といったカテゴリカルな特徴に対しても発生する。
• 外挿の程度は個人ごとに顕著に異なることがあり、たとえば訓練データに存在しない年齢の患者に対して臨床的処置を推奨するような場合、社会的に重大な影響を及ぼす可能性がある。
• 多様な人種のデータを用いて訓練されたモデルですら、人種関連の次元で顕著な外挿を示すことがあり、単に代表性があるからといって外挿を防げるわけではない。
• 深層学習モデルは、単純なモデルより性能が優れるタスクにおいて、より高い外挿を示す傾向があることから、モデルの複雑さと外挿リスクの間に相関がある可能性が示唆された。
• 外挿の自動監査（外挿の程度と特徴次元の報告）により、透明性が向上し、GDPRなどの規制遵守を支援できる。