[논문 리뷰] On the Safety of Interpretable Machine Learning: A Maximum Deviation Approach

Dennis Wei, Rahul Nair외 4명|arXiv (Cornell University)|2022. 11. 02.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 인터프리터블 기계학습 모델의 안전성을 정량적으로 평가하기 위해 최대 편차 접근법을 제안한다. 이는 검증 세트에서 평가 중인 모델 f와 기준 '안전한' 모델 f₀ 간의 출력 차이의 최대값을 측정함으로써 이루어진다. 해석 가능성 덕분에 의사결정 트리, 일반화선형모형, 트리 앙상블 등의 모델에 대해 이 편차의 정확하거나 날카로운 경계를 도출할 수 있으며, 조각별 리프시츠 함수의 경우 더 날카로운 손실 경계를 제공함으로써 모델 안전성의 원칙적인 측정법을 제시하고 모델 선택을 안내한다.

ABSTRACT

Interpretable and explainable machine learning has seen a recent surge of interest. We focus on safety as a key motivation behind the surge and make the relationship between interpretability and safety more quantitative. Toward assessing safety, we introduce the concept of maximum deviation via an optimization problem to find the largest deviation of a supervised learning model from a reference model regarded as safe. We then show how interpretability facilitates this safety assessment. For models including decision trees, generalized linear and additive models, the maximum deviation can be computed exactly and efficiently. For tree ensembles, which are not regarded as interpretable, discrete optimization techniques can still provide informative bounds. For a broader class of piecewise Lipschitz functions, we leverage the multi-armed bandit literature to show that interpretability produces tighter (regret) bounds on the maximum deviation. We present case studies, including one on mortgage approval, to illustrate our methods and the insights about models that may be obtained from deviation maximization.

연구 동기 및 목표

• 감독 기계학습 모델의 안전성을 정량적으로 평가하기 위한 프레임워크를 제공하는 것.
• 안전성을 평가 대상 모델의 예측값이 안전한 것으로 간주되는 기준 모델과의 최대 편차로 공식화하는 것.
• 해석 가능성의 특성이 최대 편차 계산의 효율성과 정밀성 향상에 어떻게 기여하는지 탐구하는 것.
• 다양한 모델 유형(해석 가능한 모델과 비해석 가능한 모델 포함)에 걸쳐 최대 편차 접근법의 효과성을 평가하는 것.
• 모기지 승인 데이터를 활용한 사례 연구를 통해 극단적인 모델 출력을 유도하는 특성 조합을 밝혀내는 것.

제안 방법

• 안전성 평가를 최적화 문제로 공식화: 검증 세트 C 내에서 f(x)와 f₀(x)의 편차 D(f(x), f₀(x))를 최대화하는 것. 여기서 f는 평가 대상 모델, f₀는 기준 안전 모델이다.
• L2나 절대차이와 같은 편차 측정법 D를 사용하여 모델 간 출력 차이를 정량화한다.
• 의사결정 트리, 일반화선형모형, 가산 모델과 같은 해석 가능한 모델의 경우, 구조적 성질을 활용해 최대 편차를 정확히 계산한다.
• 트리 앙상블의 경우, 이 anytime upper 및 lower bound를 도출하기 위해 이산 최적화 기법을 적용한다.
• 조각별 리프시츠 함수로 일반화하며, 다중 무기 랜드미드 손실 경계를 활용해 해석 가능성 모델이 일반적인 블랙박스 함수보다 훨씬 날카로운 경계를 제공함을 보여준다.
• 합리적인 입력을 포함하는 입력 공간의 부분집합인 검증 세트 C를 사용하여, 편차를 최대화하는 영역을 정의한다.

실험 결과

연구 질문

• RQ1 기준 모델에서의 편차 측면에서 모델 안전성을 공식적이고 정량적으로 정의할 수 있는가?
• RQ2 해석 가능성은 안전성 평가에서 최대 편차 계산의 효율성과 정확성 향상에 어느 정도 기여하는가?
• RQ3 최대 편차 경계는 모델 복잡성과 검증 세트 크기에 따라 어떻게 스케일링되는가?
• RQ4 의사결정 트리 앙상블과 같은 비해석 가능한 모델에 대해서도 최대 편차에 대한 정보적인 경계를 도출할 수 있는가?
• RQ5 어떤 특성 조합이 최대 편차를 유도하며, 이러한 조합은 모델 행동과 도메인 검증에 어떤 통찰을 제공하는가?

주요 결과

• 의사결정 트리, 일반화선형모형, 가산 모델의 경우, 해석 가능성의 구조적 특성 덕분에 최대 편차를 정확하고 효율적으로 계산할 수 있다.
• 트리 앙상블의 경우, 이산 최적화 기법을 통해 최대 편차에 대한 유의미한 상한 및 하한 경계를 도출할 수 있으며, 트리의 수가 증가하더라도 경계가 증가하지 않는다는 점을 확인할 수 있다.
• Lending Club 모기지 승인 사례 연구에서, 최대 편차는 검증 세트 반경 r이 증가함에 따라 증가하며, dti > 800% 및 annual_inc = $100과 같은 특성 값은 큰 r에서 나타나며, 이는 극단적이고 잠재적으로 안전하지 않은 입력을 시사한다.
• 최대 편차를 유도하는 특성 조합(높은 데비트-투-인COME 비율, 낮은 소득, 긴 대출 기간, 높은 이자 목적 등)은 모델의 취약점을 드러내며 도메인 기대와도 부합한다.
• 트리 기반 모델의 최대 편차는 모델 복잡성에 민감하며, 로지스틱 회귀의 경우 ℓ₁ 노름이 높거나, 해석 가능한 부스팅 머신에서 더 많은 박스 수가 있을수록 편차가 커진다.
• 분석 결과, 사후 설명이 局소적 충실성은 보여주지만 트리 앙상블과 같은 모델의 전반적 행동은 여전히 기준 모델에서 큰 편차를 보일 수 있음을 확인하였으며, 이는 전반적 안전성 평가의 필요성을 강조한다.