[논문 리뷰] True to the Model or True to the Data?

Hugh Chen, Joseph D. Janizek외 2명|arXiv (Cornell University)|2020. 06. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 37

한 줄 요약

논문은 관찰적(Observational) 및 개입적(Interventional) Shapley 값을 피처 할당에 대해 비교하고, 애플리케이션 의존적인 이점을 보여주며, 실제 데이터 예시(신용 위험 및 생물학)와 함께 효율적인 선형 모델 접근법을 도입합니다.

ABSTRACT

A variety of recent papers discuss the application of Shapley values, a concept for explaining coalitional games, for feature attribution in machine learning. However, the correct way to connect a machine learning model to a coalitional game has been a source of controversy. The two main approaches that have been proposed differ in the way that they condition on known features, using either (1) an interventional or (2) an observational conditional expectation. While previous work has argued that one of the two approaches is preferable in general, we argue that the choice is application dependent. Furthermore, we argue that the choice comes down to whether it is desirable to be true to the model or true to the data. We use linear models to investigate this choice. After deriving an efficient method for calculating observational conditional expectation Shapley values for linear models, we investigate how correlation in simulated data impacts the convergence of observational conditional expectation Shapley values. Finally, we present two real data examples that we consider to be representative of possible use cases for feature attribution -- (1) credit risk modeling and (2) biological discovery. We show how a different choice of value function performs better in each scenario, and how possible attributions are impacted by modeling choices.

연구 동기 및 목표

• ML 설명에서 Shapley 값에 대한 관찰적 조건부와 개입적 조건부의 논쟁을 촉발한다.
• 관찰적 Shapley 값을 효율적으로 계산하는 선형 모델 프레임워크를 개발한다.
• 특성 상관관계가 관찰적 SHAP의 수렴 및 귀속에 어떤 영향을 미치는지 탐구한다.
• 실제 데이터 세트(신용 위험 및 생물학)를 사용하여 모델에 충실한 설명과 데이터에 충실한 설명의 선호 시점을 보여준다.
• Shapley 기반 설명의 적용에 대한 실용적 함의와 한계를 논의한다.

제안 방법

• 관찰적 조건부 기대값과 개입적 조건부 기대값을 사용하여 v(S)를 정의한다.
• f(x)=βx+b인 선형 모형에서 Shapley 값의 해석적 형태를 도출한다.
• x ~ N(μ,Σ)로 가정하고 적절한 투영을 통해 전체 특징 공간에 조건부 기대값을 투영한다.
• 표현식을 T(μ)와 T(x)로 분해하여 샘플 간 초기 지수 항을 재사용하는 빠른 계산 전략을 제공한다.
• 근사로서 몬테카를로 샘플링의 활용을 논의하고 정확한 계산과 근사 계산의 계산 비용을 비교한다.
• 실제 데이터 세트(LendingClub 대출 부도 및 NHANES 사망률)와 RNA-seq 기반 생물학적 발견 시나리오에 접근한다.

실험 결과

연구 질문

• RQ1 다양한 응용에서 Shapley 귀속에 사용할 조건부는 관찰적 조건부와 개입적 조건부 중 무엇이어야 하는가?
• RQ2 선형 모델의 관찰적 SHAP에서 특성 상관관계가 수렴 및 귀속에 어떤 영향을 미치는가?
• RQ3 Elastic Net과 같은 모델링 선택이 상관된 특성에 대한 데이터-참(true to data) 귀속 문제를 완화할 수 있는가?
• RQ4 관찰적 SHAP값과 개입적 SHAP값이 실제 사용 사례에서 데이터에 충실한가, 모델에 충실한가에 부합하는가?
• RQ5 실제 작업에서 정확한 관찰적 SHAP 계산과 모델 기반 대안 간의 계산적 트레이드오프는 무엇인가?

주요 결과

• 관찰적 SHAP 값은 수렴 속도가 느리고 상관관계가 높은 특성들 간에 크레딧을 분산시키는 경향이 있다.
• 개입적 SHAP 값은 모델에 더 충실하는 경향이 있으며, 모델이 실제로 사용하는 특성에 더 큰 영향을 주고 그 특성을 변경할 때 더 큰 영향을 준다.
• 관찰적 SHAP는 특성 간 상관으로 인해 모델에서 사용되지 않는 특성에 중요도를 부여할 수 있다(예: BMI가 다른 특징과 상관될 때 귀속에 영향을 미침).
• 신용 위험 시나리오에서 개입적 SHAP 설명을 기반으로 한 개입은 관찰적 설명보다 예측 부도 위험을 더 효과적으로 낮춘다.
• 생물학적 발견 시나리오에서 Lasso 모델을 사용할 때 관찰적 SHAP가 실제 인과 특성을 더 잘 회복하는 반면, 상관된 특성들 간에 크레딧을 분산시키는 Elastic Net 모델링은 데이터 구조와 설명을 맞출 수 있다; 그럼에도 불구하고 개입적 SHAP를 사용하는 Elastic Net은 대개 더 빠른 계산 경로를 제공한다.
• Elastic Net 모델은 상관된 특성 간에 크레딧을 분산시킬 수 있어 관찰적 SHAP 계산의 계산적 부담을 감소시킬 수 있다.