[논문 리뷰] Deletion and Insertion Tests in Regression Models

Naofumi Hama, Masayoshi Mase외 1명|arXiv (Cornell University)|2022. 05. 25.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 원래 이미지 분류에 대해 개발된 삽입 및 삭제 테스트를 회귀 모델로 확장하며, 锚정분해(anchored decomposition)를 통해 주효과와 상호작용 항을 이용해 AUC(ROC 아래 면적)와 ABC(ROC 위 면적)에 대한 분석적 표현을 유도한다. 이는 통합 기울기(IG)가 기능 중요도 순서 매기기에서 커널 SHAP(KS)와 거의 동일한 성능을 보이며, 특히 이진 변수에서 이산 수준 간의 보간이 필요하기 때문에 훨씬 빠른 성능을 발휘함을 발견한다.

ABSTRACT

A basic task in explainable AI (XAI) is to identify the most important features behind a prediction made by a black box function $f$. The insertion and deletion tests of Petsiuk et al. (2018) can be used to judge the quality of algorithms that rank pixels from most to least important for a classification. Motivated by regression problems we establish a formula for their area under the curve (AUC) criteria in terms of certain main effects and interactions in an anchored decomposition of $f$. We find an expression for the expected value of the AUC under a random ordering of inputs to $f$ and propose an alternative area above a straight line for the regression setting. We use this criterion to compare feature importances computed by integrated gradients (IG) to those computed by Kernel SHAP (KS) as well as LIME, DeepLIFT, vanilla gradient and input$ imes$gradient methods. KS has the best overall performance in two datasets we consider but it is very expensive to compute. We find that IG is nearly as good as KS while being much faster. Our comparison problems include some binary inputs that pose a challenge to IG because it must use values between the possible variable levels and so we consider ways to handle binary variables in IG. We show that sorting variables by their Shapley value does not necessarily give the optimal ordering for an insertion-deletion test. It will however do that for monotone functions of additive models, such as logistic regression.

연구 동기 및 목표

• 이미지 분류에서의 삽입 및 삭제 테스트를 연속적인 예측을 하는 회귀 문제로 확장함. 이는 예측값이 반드시 0 근처가 아니라는 점을 고려한다.
• 회귀 함수의 锚정분해에서 주효과와 상호작용 항을 기반으로 AUC 및 ABC 지표에 대한 분석적 표현을 유도한다.
• 여러 해석 가능한 AI 방법(IG, KS, LIME, DeepLIFT, 순수 기울기, 입력×기울기)의 성능을 평가하고 비교한다.
• 특히 이진 변수의 유형이 IG 성능에 미치는 영향을 조사하고, 이를 효과적으로 다룰 수 있는 전략을 제안한다.
• Shapley 값에 따라 기능을 정렬했을 때 삽입/삭제 테스트 성능이 최적화되는지 확인하고, 어떤 조건에서 실패하는지 파악한다.

제안 방법

• 회귀 함수 f(x)의 锚정분해를 사용하여 AUC 및 ABC를 주효과와 상호작용 항으로 표현한다.
• 랜덤한 변수 순서에 따른 기대 AUC를 유도하여 비교의 기준선을 설정한다.
• 분류 문제에서 사용하던 수평축을 대체하기 위해, 회귀 문제에 적합한 기준선(직선)을 제안한다.
• 두 데이터셋인 반갈로르 주택 데이터와 CERN 전자 충돌 데이터에 삽입/삭제 테스트를 적용한다.
• IG에서 이진 변수를 처리하기 위해 0과 1 사이의 보간을 사용하는 가장 단순한 전략을 적용한다.
• 재학습을 포함한 ROAR 스타일의 기능 제거 실험에서, 부호 있는 값과 절대값을 모두 사용해 방법을 비교한다.

실험 결과

연구 질문

• RQ1 삽입 및 삭제 테스트를 분류 설정에서 회귀 설정으로 의미 있게 확장할 수 있는가?
• RQ2 회귀 문제에서 AUC 및 ABC 지표를 지배하는 분석적 표현은 무엇이며, 이는 함수의 주효과와 상호작용 항과 어떻게 관련이 있는가?
• RQ3 Shapley 값에 따라 기능을 정렬하는 것이 삽입/삭제 테스트 성능을 최적화하는가? 만약 그렇지 않다면 어떤 조건에서 실패하는가?
• RQ4 삽입/삭제 지표를 사용할 때, 다양한 해석 가능한 AI 방법(IG, KS, LIME 등)의 성능은 어떻게 비교되는가?
• RQ5 이진 변수가 IG 성능에 미치는 영향은 무엇이며, 이 맥락에서 효과적으로 다룰 수 있는 방법은 무엇인가?

주요 결과

• 통합 기울기(IG)는 계산 속도가 훨씬 빠르지만, 삽입 및 삭제 테스트에서 커널 SHAP(KS)와 거의 동일한 성능을 보인다.
• KS는 두 데이터셋에서 모두 가장 높은 AUC 및 ABC 점수를 기록하지만, 대규모 응용에 있어 계산 비용이 지나치게 높아 실용성이 떨어진다.
• 절대 값 기반의 IG가 부호 있는 순서보다 더 뛰어난 성능을 보이며, 특히 IG가 KS를 초월하는 반갈로르 주택 데이터셋에서 두드러진다.
• ROAR 테스트 결과, IG와 KS 모두 기능 중요도의 명확한 계층을 파악하지 못함을 확인했으며, 손실 곡선이 거의 직선이므로 어떤 기능 조합을 제거해도 성능 저하가 거의 없음을 시사한다.
• Shapley 값에 따라 기능을 정렬한다고 해서 항상 삽입/삭제 성능이 최적화되지는 않는다. 이는 단조 증가 가산 모델(예: 로지스틱 회귀)에서만 성립한다.
• 랜덤 순서에 따른 기대 ABC는 0이며, 이는 방법 성능 평가의 근본 기준점이 된다.