[논문 리뷰] To what extent should we trust AI models when they extrapolate?

Roozbeh Yousefzadeh, Xuenan Cao|arXiv (Cornell University)|2022. 01. 27.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 인공지능 모델의 외삽(예측값이 훈련 데이터 범위를 초월하는 현상)을 탐지하고 보고하기 위한 기하학적 감사 방법을 제안한다. 이는 외삽이 흔하며 사회적으로 중요한 영향을 미치며, 종종 간과된다는 점을 입증한다. 이 방법은 외삽이 발생하는지 여부를 판단하기 위해 볼록껍질 분석을 사용하며, 외삽 정도와 차원을 자동으로 보고함으로써 고위험 AI 응용 분야에서의 투명성과 책임성 향상을 주장한다.

ABSTRACT

Many applications affecting human lives rely on models that have come to be known under the umbrella of machine learning and artificial intelligence. These AI models are usually complicated mathematical functions that map from an input space to an output space. Stakeholders are interested to know the rationales behind models' decisions and functional behavior. We study this functional behavior in relation to the data used to create the models. On this topic, scholars have often assumed that models do not extrapolate, i.e., they learn from their training samples and process new input by interpolation. This assumption is questionable: we show that models extrapolate frequently; the extent of extrapolation varies and can be socially consequential. We demonstrate that extrapolation happens for a substantial portion of datasets more than one would consider reasonable. How can we trust models if we do not know whether they are extrapolating? Given a model trained to recommend clinical procedures for patients, can we trust the recommendation when the model considers a patient older or younger than all the samples in the training set? If the training set is mostly Whites, to what extent can we trust its recommendations about Black and Hispanic patients? Which dimension (race, gender, or age) does extrapolation happen? Even if a model is trained on people of all races, it still may extrapolate in significant ways related to race. The leading question is, to what extent can we trust AI models when they process inputs that fall outside their training set? This paper investigates several social applications of AI, showing how models extrapolate without notice. We also look at different sub-spaces of extrapolation for specific individuals subject to AI models and report how these extrapolations can be interpreted, not mathematically, but from a humanistic point of view.

연구 동기 및 목표

• AI 모델이 예측을 할 때 주로 내삽하는 것만 아니라 외삽하는 경향이 있다는 일반적인 가정에 도전하기 위해.
• AI 모델에서의 외삽이 빈번하고 무시할 수 없으며, 의료, 금융, 고용 분야에서 중요한 사회적 영향을 미칠 수 있음을 입증하기 위해.
• 연속형 및 이산형 특성 모두에서 외삽을 식별하고 정량화할 수 있는 체계적인 기하학적 감사 방법을 개발하기 위해.
• 외삽 보고 기능을 AI 파이프라인에 통합하여 투명성을 향상시키고, 특히 GDPR과 같은 규제에 부합하기 위해.
• 외삽 정도를 모델 복잡성과 성능 간의 트레이드오프와 연결지어 모델 선택을 안내하기 위해.

제안 방법

• 모든 훈련 샘플의 기하학적 경계로 훈련 데이터의 볼록껍질($\mathcal{H}^{tr}$)을 정의하며, 이 내부에 있는 점들은 내삽으로, 외부에 있는 점들은 외삽으로 간주한다.
• 모든 테스트 샘플 $x$에 대해 $x$가 $\mathcal{H}^{tr}$ 내부에 있는지 외부에 있는지 판단하여 예측이 내삽인지 외삽인지 분류한다.
• 기하학적 분해를 통해 어떤 특성(예: 연령, 체질량지수, 인종)이 외삽에 가장 기여하는지 식별하여 차원별 보고를 가능하게 한다.
• 개인정보 보호 문제로 전체 훈련 데이터 접근이 제한될 경우, 블룸 등(Blum et al.)의 방법과 같은 근사 기법을 사용하여 볼록껍질을 추정한다.
• 감사 절차를 AI 파이프라인에 통합하여 각 예측에 대해 외삽 정도와 방향을 자동으로 로깅하고 보고한다.
• 통계적으로 과도한 외삽을 보이는 모델은 인간의 검토를 위한 경고 표시를 해야 하며, 특히 의료 및 형사 사법과 같은 민감한 분야에서 그러한 조치가 중요하다.

실험 결과

연구 질문

• RQ1 실제 응용 분야인 의료, 급여 예측, 알고리즘 트레이딩에서 AI 모델이 얼마나 외삽하는가?
• RQ2 연속형, 이산형, 정수형 특성을 혼합한 모델에서 외삽을 체계적으로 탐지하고 정량화하는 방법은 무엇인가?
• RQ3 고위험 의사결정에 사용되는 AI 모델에서 감지되지 않은 외삽의 사회적 영향은 무엇인가?
• RQ4 외삽 정도는 모델의 복잡성과 성능과 어떤 관계가 있으며, 이를 모델 선택에 어떻게 활용할 수 있는가?
• RQ5 개인정보 보호와 해석 가능성의 관점에서 AI 파이프라인에 내장된 외삽 보고 메커니즘은 어떻게 설계할 수 있는가?

주요 결과

• AI 모델은 실생활 응용에서 빈번히 외삽을 하며, 테스트 샘플의 상당수에서 외삽이 발생하여 예상보다 높은 비율을 차지한다.
• 외삽은 연속형 변수에 국한되지 않으며, 인종과 성별과 같은 이산형 특성에서도 발생할 수 있다. 이는 훈련 데이터에 다양한 그룹이 포함되어 있더라도 마찬가지다.
• 외삽 정도는 개인 간에 크게 달라지며, 훈련 데이터에 포함된 적이 없는 환자에게 임상 수술을 권고하는 등 사회적으로 중요한 영향을 미칠 수 있다.
• 다양한 인구를 포함한 데이터로 훈련된 모델도 여전히 인종 관련 차원에서 상당한 수준의 외삽을 보일 수 있으며, 이는 단지 표현의 다양성만으로는 외삽을 방지할 수 없음을 시사한다.
• 딥러닝 모델은 단순 모델보다 성능이 뛰어나는 과제에서 더 높은 외삽 수준를 보이며, 이는 모델 복잡성과 외삽 위험 간의 관련성이 있음을 시사한다.
• 자동화된 외삽 감사—즉, 외삽 정도와 특성 차원을 보고하는 것—는 투명성을 향상시키고, GDPR과 같은 규정 준수를 지원할 수 있다.