[논문 리뷰] Robust Models Are More Interpretable Because Attributions Look Normal

Zifan Wang, Matt Fredrikson외 1명|arXiv (Cornell University)|2021. 03. 20.

Adversarial Robustness in Machine Learning참고 문헌 48인용 수 6

한 줄 요약

이 논문은 경계 기반 색소맵(BSM)과 경계 기반 통합 기울기(BIG)를 제안하며, 국소적 결정 경계의 법선 벡터를 활용하여 더 선명하고 집중도 높은 설명을 생성한다. 강건한 모델은 부드러운 결정 경계를 가지므로 기울기와 법선 벡터가 잘 일치하고, 이로 인해 더 해석 가능한 설명을 제공함을 보여주며, BIG는 기준값 민감도를 줄이고 특징 국소화를 향상시켜 강건 및 비강건 모델 모두에서 설명 품질을 향상시킴을 입증한다.

ABSTRACT

Recent work has found that adversarially-robust deep networks used for image classification are more interpretable: their feature attributions tend to be sharper, and are more concentrated on the objects associated with the image's ground-truth class. We show that smooth decision boundaries play an important role in this enhanced interpretability, as the model's input gradients around data points will more closely align with boundaries' normal vectors when they are smooth. Thus, because robust models have smoother boundaries, the results of gradient-based attribution methods, like Integrated Gradients and DeepLift, will capture more accurate information about nearby decision boundaries. This understanding of robust interpretability leads to our second contribution: \emph{boundary attributions}, which aggregate information about the normal vectors of local decision boundaries to explain a classification outcome. We show that by leveraging the key factors underpinning robust interpretability, boundary attributions produce sharper, more concentrated visual explanations -- even on non-robust models. Any example implementation can be found at \url{https://github.com/zifanw/boundary}.

연구 동기 및 목표

• 모델 기울기와 결정 경계 법선 간의 기하학적 관계를 분석하여, 적대적 강건 모델이 더 해석 가능한 특징 기여도를 제공하는 이유를 설명하는 것.
• 강건 모델의 해석 가능성 이점을 비강건 모델로 일반화하는 경계 기반 기여도 방법을 개발하는 것.
• 근처 결정 경계 정보를 통합하여 기울기 기반 설명의 날카움, 집중도, 정확도를 향상시키는 것.
• 전역 기준값을 사용하는 대신 경계 투영 경로를 사용함으로써 통합 기울기에서 내재된 기준값 민감도 문제를 완화하는 것.
• 로컬 결정 경계 기하학을 기반으로 한 모델 설명의 이론적 및 실증적 근거를 제공하는 것.

제안 방법

• 가장 가까운 결정 경계 법선 벡터에 입력 기울기를 투영하여 기여도를 계산하는 경계 기반 색소맵(BSM)을 제안하며, 이는 닫힌 형태의 이론적 보장을 제공한다.
• 가장 가까운 결정 경계 점에서 입력으로 향하는 경로를 따라 기울기를 통합하는 경계 기반 통합 기울기(BIG)를 도입하며, 근처 경계의 정보를 통합한다.
• 모델 출력 표면의 진정한 국소 기하학을 대체하기 위해 가장 가까운 결정 경계의 법선 벡터를 사용하여 관련 특징과의 일치도를 향상시킨다.
• 기울기 일치도와 결정 경계 부드러움 간의 관계를 수식화하여, 강건 모델이 더 부드러운 경계를 가지며 기울기와 더 잘 일치함을 보여준다.
• 비강건 모델에 BIG를 적용하여, 임의의 기준값 입력에 의존하지 않고도 더 선명하고 집중도 높은 기여도를 생성함을 보여준다.
• 실증적 평가를 통해 경계 상자 국소화 지표를 사용하여 기여도를 참값 객체 영역과 비교함으로써 정확도 향상을 검증한다.

실험 결과

연구 질문

• RQ1 왜 적대적 강건 모델의 특징 기여도는 표준 모델보다 더 해석 가능할까?
• RQ2 결정 경계의 부드러움이 모델 기울기와 경계 법선 벡터 간 일치도에 어떤 영향을 미칠까?
• RQ3 비강건 모델에서 설명 품질을 향상시키기 위해 국소 결정 경계 기하학을 포착하는 기여도 방법을 설계할 수 있을까?
• RQ4 통합 기울기 대비 경계 기반 기여도가 기준값 선택 민감도를 어느 정도 감소시킬 수 있을까?
• RQ5 경계 기반 설명은 기존 기여도 방법보다 관련 특징의 국소화 성능을 더 높게 달성할 수 있을까?

주요 결과

• 강건 모델은 더 부드러운 결정 경계를 가지므로 입력 기울기와 국소 결정 경계 법선 벡터 간의 일치도가 더 강하며, 이는 그들의 향상된 해석 가능성성을 설명한다.
• 경계 기반 색소맵(BSM)은 가장 가까운 경계 법선에 기울기를 투영함으로써 기하학적 일관성을 보장하는 이론적으로 타당한 기여도 방법을 제공한다.
• 경계 기반 통합 기울기(BIG)는 강건 및 비강건 모델 모두에서 표준 통합 기울기보다 더 선명하고 집중도 높으며 노이즈가 적은 시각적 설명을 생성한다.
• BIG는 전역 기준값이 아닌 가장 가까운 경계 점에서 경로 통합을 시작함으로써 통합 기울기의 알려진 한계인 기준값 민감도를 크게 감소시킨다.
• 실증적 평가에서 BIG는 참값 경계 상자와 비교해 뛰어난 국소화 성능을 보이며, 기존 기여도 방법보다 정량 지표에서 승리한다.
• 제안된 경계 기반 기여도 프레임워크는 결정 경계의 국소 기하학적 구조를 활용하여 강건 모델의 해석 가능성 이점을 비강건 모델로 일반화한다.