[논문 리뷰] Neural Additive Models: Interpretable Machine Learning with Neural Nets

Rishabh Agarwal, Melnick, Levi외 5명|arXiv (Cornell University)|2020. 04. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 37인용 수 121

한 줄 요약

NAMs는 가산 모형 해석 가능성과 신경망을 결합하여 GAM과 경쟁력 있는 정확도와 이해 가능한 베이스라인에 비해 강력한 성능을 달성하며, 다중 작업 및 미분 가능하고 모듈식 해석을 가능하게 한다.

ABSTRACT

Deep neural networks (DNNs) are powerful black-box predictors that have achieved impressive performance on a wide variety of tasks. However, their accuracy comes at the cost of intelligibility: it is usually unclear how they make their decisions. This hinders their applicability to high stakes decision-making domains such as healthcare. We propose Neural Additive Models (NAMs) which combine some of the expressivity of DNNs with the inherent intelligibility of generalized additive models. NAMs learn a linear combination of neural networks that each attend to a single input feature. These networks are trained jointly and can learn arbitrarily complex relationships between their input feature and the output. Our experiments on regression and classification datasets show that NAMs are more accurate than widely used intelligible models such as logistic regression and shallow decision trees. They perform similarly to existing state-of-the-art generalized additive models in accuracy, but are more flexible because they are based on neural nets instead of boosted trees. To demonstrate this, we show how NAMs can be used for multitask learning on synthetic data and on the COMPAS recidivism data due to their composability, and demonstrate that the differentiability of NAMs allows them to train more complex interpretable models for COVID-19.

연구 동기 및 목표

• 높은 위험 영역(의료, 금융, 형사사법)에서 해석 가능한 고성능 모델에 대한 필요성을 제시한다.
• Feature별 신경망의 선형 조합을 학습하여 일반화 가법 모델(GAM)을 형성하는 NAMs를 제안한다.
• NAMs가 최첨단 GAMs와 비슷한 정확도를 달성하고 표형 데이터에서 일반적인 해석 가능한 베이스라인을 능가함을 보인다.
• COVID-19 치료 모델링과 같은 응용에서 다중 작업 학습 및 해석 가능한 모듈형 구성 요소로의 NAMs 확장성을 보여준다.]
• method([" NAMs는 단일 입력 특징에 주의를 기울이는 신경망의 선형 조합을 학습하여 g(E[y]) = β + sum_i f_i(x_i) 형성을 이루고 f_i는 신경망으로 모델링된다."," 각 f_i는 역전파를 통해 공동으로 학습되며 임의로 복잡한 형태를 모델링할 수 있다."," ExU 은 지그재그하고 점프하는 1D 함수를 학습하기 위해 h(x) = f(e^w * (x - b))를 계산한다."," ReLU-_n 활성화 및 규제(드롭아웃, 가중치 감소 등)를 사용하여 과적합을 제어하고 현실적인 형태 함수를 촉진한다."," NAMs는 미분 가능하고 모듈식이어서 다중 작업 확장 및 작업 간의 구성 가능성을 가능하게 한다."," 이 방법은 NAMs가 예측을 계산하는 방법을 정확하게 설명하는 f_i(x_i) 형태 함수를 시각화 가능하게 강조한다."]
• research_questions:["NAMs가 표형 데이터에서 해석 가능성을 유지하면서 예측 정확도에 대해 경쟁력을 가질 수 있는가?","NAMs가 표준 데이터셋에서 로지스틱/선형 모델, 의사 결정 트리, EBM, XGBoost, DNN과 어떻게 비교되는가?","NAMs를 해석 가능성을 유지하면서 다중 작업 학습으로 확장할 수 있는가?","ExU 유닛이 지그재그하고 실제 세계의 형태 함수를 모델링하는 데 어떤 역할을 하고, 이를 어떻게 정규화해야 하는가?"]
• key_findings:["NAMs는 종종 로지스틱/선형 회귀 및 CART를 능가하고 벤치마크 데이터셋에서 최첨단 GAMs 및 EBM에 근접하는 경쟁력 있는 정확도를 달성한다.","NAMs는 예측이 어떻게 계산되는지 정확히 설명하는 해석 가능한 특성별 형태 그림을 제공하여 편향 탐지 및 교정(예: COMPAS의 인종) 가능성을 높인다.","ExU 유닛은 표준 단위보다 지그재그하고 점프하는 함수를 더 효과적으로 모델링할 수 있게 하며, 적절한 초기화와 ReLU-n 활성화가 급격한 변화를 포착하는 데 도움을 준다.","다중 작업 NAMs는 예측 성능을 향상시키고 작업별 형태 함수를 가능하게 하여 하위 네트워크 공유를 가능하게 하면서 해석 가능성을 유지한다.","COMPAS에서 다중 작업 NAM은 성별 특유의 관계를 드러내고 전체 정확도를 유지하면서 특징 기여를 검사하고 조정함으로써 편향 제거로의 경로를 제공한다.","NAMs는 미분 가능하므로 개인 맞춤 치료 정책(예: COVID-19)의 매개 변수 생성기 및 미분 가능한 파이프라인에의 통합에 활용할 수 있다."],
• table_headers:["모델","MIMIC-II (AUC)","Credit (AUC)","CA Housing (RMSE)","FICO (RMSE)"]
• table_rows:[ ["Log./Linear Reg.","0.791 ± 0.007","0.975 ± 0.010","0.728 ± 0.015","4.344 ± 0.056"], ["CART","0.768 ± 0.008","0.956 ± 0.004","0.720 ± 0.006","4.900 ± 0.113"], ["NAMs","0.830 ± 0.008","0.980 ± 0.002","0.562 ± 0.007","3.490 ± 0.081"], ["EBMs","0.835 ± 0.007","0.976 ± 0.009","0.557 ± 0.009","3.512 ± 0.095"], ["XGBoost","0.844 ± 0.006","0.981 ± 0.008","0.532 ± 0.014","3.345 ± 0.071"], ["DNNs","0.832 ± 0.009","0.978 ± 0.003","0.492 ± 0.009","3.324 ± 0.092"]]} }; total_tokens: 0 } } } ) } } ) } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }. } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }}} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } }} } } } } } } } } } } } } } } } } } } } } } } } } } } }}
• table_rows:[[
• Log./Linear Reg.
• 0.791 ± 0.007
• 0.975 ± 0.010
• 0.728 ± 0.015
• 4.344 ± 0.056

실험 결과

주요 결과

모델	MIMIC-II (AUC)	Credit (AUC)	CA Housing (RMSE)	FICO (RMSE)
Log./Linear Reg.	0.791 ± 0.007	0.975 ± 0.010	0.728 ± 0.015	4.344 ± 0.056
CART	0.768 ± 0.008	0.956 ± 0.004	0.720 ± 0.006	4.900 ± 0.113
NAMs	0.830 ± 0.008	0.980 ± 0.002	0.562 ± 0.007	3.490 ± 0.081
EBMs	0.835 ± 0.007	0.976 ± 0.009	0.557 ± 0.009	3.512 ± 0.095
XGBoost	0.844 ± 0.006	0.981 ± 0.008	0.532 ± 0.014	3.345 ± 0.071
DNNs	0.832 ± 0.009	0.978 ± 0.003	0.492 ± 0.009	3.324 ± 0.092