[논문 리뷰] Attribution-based Explanations that Provide Recourse Cannot be Robust

Hidde Fokkema, Rianne de Heide외 1명|arXiv (Cornell University)|2022. 05. 31.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 근본적인 이론적 한계를 증명한다: 어떤 하나의 소실 방법도 동시에 복구 감도성(모델 결정 향상에 기여하는 행동 가능한 변경 사항을 제공)과 강건성(작은 입력 변화에 대해 연속적임)을 동시에 만족시킬 수 없다. 저자들은 이용 가능한 기능 변화 영역의 위상적 성질을 고려하여 복구 감도성을 유틸리티 함수를 통해 수식화하고, 특히 고차원 또는 희박한 변화 설정에서 이러한 상호 배타적 관계가 피할 수 없음을 보여준다. LIME, SHAP, 통합 기울기, 스무스드래프트 등의 방법에 대해 반례를 제시한다.

ABSTRACT

Different users of machine learning methods require different explanations, depending on their goals. To make machine learning accountable to society, one important goal is to get actionable options for recourse, which allow an affected user to change the decision $f(x)$ of a machine learning system by making limited changes to its input $x$. We formalize this by providing a general definition of recourse sensitivity, which needs to be instantiated with a utility function that describes which changes to the decisions are relevant to the user. This definition applies to local attribution methods, which attribute an importance weight to each input feature. It is often argued that such local attributions should be robust, in the sense that a small change in the input $x$ that is being explained, should not cause a large change in the feature weights. However, we prove formally that it is in general impossible for any single attribution method to be both recourse sensitive and robust at the same time. It follows that there must always exist counterexamples to at least one of these properties. We provide such counterexamples for several popular attribution methods, including LIME, SHAP, Integrated Gradients and SmoothGrad. Our results also cover counterfactual explanations, which may be viewed as attributions that describe a perturbation of $x$. We further discuss possible ways to work around our impossibility result, for instance by allowing the output to consist of sets with multiple attributions, and we provide sufficient conditions for specific classes of continuous functions to be recourse sensitive. Finally, we strengthen our impossibility result for the restricted case where users are only able to change a single attribute of $x$, by providing an exact characterization of the functions $f$ to which impossibility applies.

연구 동기 및 목표

• 기계 학습 설명에서 복구 감도성의 개념을 수식화하여, 설명이 모델 결정 향상에 기여하는 행동 가능한 입력 변경 사항을 제안하도록 요구한다.
• 해당 설명 방법이 동시에 복구 감도성과 강건성(작은 입력 변화에 대한 연속성)을 만족시킬 수 있는지 조사한다.
• 해당 설명 기반의 복구 감도성과 강건성 간의 근본적인 이론적 불가능성을 규명한다.
• 특히 단일 기능 변경과 같은 제한된 설정에서 연속적이고 복구 감도성 있는 설명이 존재할 수 있는 충분조건을 제공한다.
• 대체적 설명으로서의 복수 기능 변경에 대한 분석을 확장하여, 동일한 불가능성 결과가 적용됨을 보여준다.

제안 방법

• 사용자가 정의한 유틸리티 함수를 통해 복구 감도성을 수식화하여, 입력 기능을 변경함으로써 얻는 이득을 정량화한다.
• 강건성을 입력 변화에 대한 설명 함수의 연속성으로 정의하여, 작은 입력 변화가 설명에 큰 변화를 일으키지 않도록 보장한다.
• 불가능성 결과를 증명한다: 일반적인 모델에 대해 어떤 설명 방법도 복구 감도성과 연속성을 동시에 만족시킬 수 없다. 이는 타당한 변화 영역의 위상적 성질을 기반으로 한다.
• LIME, SHAP, 통합 기울기, 스무스드래프트 등의 인기 있는 방법에 대해 명시적인 반례를 제시하여, 작은 입력 변화에 의해 연속성이 깨지는 것을 입증한다.
• 사용자가 한 번에 하나의 기능만 변경할 수 있는 경우, 타당한 변화 집합과 위상적 분리 성질을 사용하여 연속적 복구 감도성 설명이 존재하는 조건을 규명한다.
• 각 기능에 대해 집합 $L^i$, $R^i$, $O$ 를 정의하고 고차원으로 확장하여, 이러한 집합이 분리 및 닫힘 조건을 만족할 경우 연속적 설명이 존재함을 증명한다.

실험 결과

연구 질문

• RQ1 주어진 기계 학습 모델에 대해 설명 방법이 동시에 복구 감도성과 강건성(연속성)을 만족시킬 수 있는가?
• RQ2 사용자가 단일 기능만 변경할 수 있는 경우, 연속적이고 복구 감도성 있는 설명 함수가 존재하기 위한 필수 및 충분 조건은 무엇인가?
• RQ3 LIME, SHAP, 통합 기울기, 스무스드래프트와 같은 일반적인 설명 방법은 복구를 제공하려는 시도와는 달리 어떻게 강건성이 결여되어 있는가?
• RQ4 설명 형식을 수정함으로써 불가능성 결과를 피할 수 있는가? 예를 들어 단일 벡터가 아닌 설명 집합을 사용하는 방식으로 말이다?
• RQ5 사용자가 동시에 다수의 기능을 변경할 수 있는 경우로 이론적 프레임워크를 얼마나 넓힐 수 있는가?

주요 결과

• 입력 공간의 위상적 제약로 인해 일반적인 모델에 대해 어떤 설명 방법도 복구 감도성과 강건성(연속성)을 동시에 만족시킬 수 없다는 것이 이론적으로 입증된다.
• 저자들은 LIME, SHAP, 통합 기울기, 스무스드래프트 등의 인기 있는 방법이 설계상 안정성을 고려하고 있음에도 불구하고, 작은 입력 변화에 대해 연속성이 깨지는 명시적 반례를 제시한다.
• 사용자가 한 번에 하나의 기능만 변경할 수 있는 모델에서는, 기능을 증가시키거나 감소시킬 경우 유틸리티 증가를 유도하는 입력 집합이 서로 위상적으로 분리되어 있고, 이미 유리한 입력 집합과도 분리되어 있을 때에만 연속적 복구 감도성 설명이 존재한다.
• 유틸리티 함수의 구조와 타당한 변화의 기하학적 성질이 충족되면, 연속적 복구 감도성 설명이 존재할 수 있음을 보장하는 충분 조건이 존재한다.
• 강건성을 라플라스 연속성보다 약하게 연속성으로 정의하더라도, 이 불가능성 결과는 그대로 유지된다.
• 이 프레임워크는 대체적 설명에도 적용 가능하다. 왜냐하면 대체적 설명은 입력 변화를 통한 설명의 한 형태로 간주될 수 있기 때문이다.