[논문 리뷰] From interpretability to inference: an estimation framework for universal approximators

Andreas Joseph|arXiv (Cornell University)|2019. 03. 11.

Statistical Methods and Inference인용 수 27

한 줄 요약

이 논문은 복잡한 모델 예측을 선형이고 해석 가능한 공간으로 변환하기 위해 셰플리-테일러 분해를 활용하여 신경망과 같은 보편적 함수 근사기(유니버설 함수 근사기)를 사용한 파rametric 통계적 추론을 가능하게 하는 새로운 추론 프레임워크를 제안한다. 이 방법은 모델의 유연성을 유지하면서도 가설 검정과 신뢰구간을 지원하며, 오차 일致성 조건 하에서 일관된 추정과 타당한 추론을 보여주는 주요 결과를 얻는다.

ABSTRACT

We present a novel framework for estimation and inference with the broad class of universal approximators. Estimation is based on the decomposition of model predictions into Shapley values. Inference relies on analyzing the bias and variance properties of individual Shapley components. We show that Shapley value estimation is asymptotically unbiased, and we introduce Shapley regressions as a tool to uncover the true data generating process from noisy data alone. The well-known case of the linear regression is the special case in our framework if the model is linear in parameters. We present theoretical, numerical, and empirical results for the estimation of heterogeneous treatment effects as our guiding example.

연구 동기 및 목표

• 신경망과 트리 앙상블와 같은 유연한 기계학습 모델에서 통계적 추론 기능의 부족을 해결한다.
• 비모수적 예측을 모수적 회귀 프레임워크로 변환하여 모델의 해석 가능성과 공식적인 통계적 추론 사이의 격차를 메운다.
• 머신러닝 모델에서 복잡한 비선형 효과와 고차 상호작용에 대해 가설 검정과 신뢰구간 구축을 가능하게 한다.
• 특히 실험적 설정에서 복잡한 머신러닝 모델의 결과를 표준화되고 해석 가능한 형식으로 소통할 수 있도록 한다.
• 비모수적 추정기의 이론적 일致성과 편향 성질을 제안된 프레임워크에서 확립하여 대규모 표본 조건 하에서 신뢰할 수 있는 추론을 보장한다.

제안 방법

• 모델 예측을 개별 특성과 그 상호작용 기여도로 분해하기 위해 셰플리-테일러 분해를 적용하여, 보조 선형 모델의 기초를 마련한다.
• 얻어진 분해 결과를 보조 모수적 회귀 모델의 생성된 회귀변수로 사용하여 표준 추론 절차를 가능하게 한다.
• 셰플리 값 전개로 생성된 공간에서 선형 모델을 구축하며, 계수는 해석 가능한 효과 추정치에 해당한다.
• 보편적 근사기의 오차 일치성(오차 일치성)을 활용: 표본 크기가 증가함에 따라 추정 모델이 진짜 데이터 생성 과정에 수렴한다.
• 분석적 모델(예: 신경망, 서포트 벡터 머신)과 비분석적 모델(예: 트리 앙상블)을 모두 다루며, 다양한 정규성 조건 하에서 일치성을 증명한다.
• 고차 셰플리-테일러 지수를 명시적 치료 함수로 도입하여 랜덤화 실험에서 복잡한 치료 채널을 식별한다.

실험 결과

연구 질문

• RQ1 신경망과 같은 보편적 함수 근사기에서 유효한 파arametric 추론(예: 가설 검정과 신뢰구간)을 수행할 수 있는가?
• RQ2 어떻게 비모수적 모델의 예측을 표준 파arametric 추론에 적합하면서도 해석 가능한 형태로 변환할 수 있는가?
• RQ3 셰플리 기반 보조 회귀 프레임워크가 추정 일치성과 비편향성을 보장하는 이론적 조건은 무엇인가?
• RQ4 고차 셰플리-테일러 지수는 실험 데이터에서 복잡한 비선형 치료 효과와 상호작용 채널을 어떻게 밝힐 수 있는가?
• RQ5 제안된 프레임워크는 데이터의 알려진 확률 모형을 가정하지 않고도 브라이먼의 '두 문화'를 어떻게 조화시킬 수 있는가?

주요 결과

• 제안된 셰플리 회귀 프레임워크는 셰플리-테일러 분해를 통해 예측을 선형이고 해석 가능한 공간으로 변환함으로써 보편적 근사기에 대해 유효한 파arametric 추론(예: 가설 검정과 신뢰구간)을 가능하게 한다.
• 오차 일치성 조건 하에서 표본 크기가 증가함에 따라 진짜 모델 파ameters와 추정 모델 파ameters의 차이가 사라지며, 이는 보조 모델 계수의 渐近 일치성을 보장한다.
• 분석적 모델(예: 신경망)의 경우, 테일러 전개와 미분 가능성에 의존하며, 대규모 표본 조건 하에서 잔차 항이 사라진다.
• 비분석적 모델(예: 트리 앙상블)의 경우, 잎 노드 기대값의 수렴성을 활용하여, 미분 가능성 없이도 일관성을 확보한다.
• 고차 셰플리-테일러 지수를 기반으로 한 명시적 치료 함수를 통해 비선형 및 고차 효과의 추정이 가능하며, 이는 복잡한 치료 채널 탐지에 기여한다.
• 대규모 표본 조건 하에서 진짜와 추정된 셰플리 성분 간의 차이가 사라지므로, 이론적으로 타당한 추론을 달성한다.