[논문 리뷰] Look at the Variance! Efficient Black-box Explanations with Sobol-based Sensitivity Analysis

Thomas Fel, Rémi Cadène외 4명|arXiv (Cornell University)|2021. 11. 07.

Machine Learning in Materials Science참고 문헌 67인용 수 15

한 줄 요약

이 논문은 심층 학습 모델을 위한 새로운 블랙박스 설명 방법을 제안하며, Sobol 기반 민감도 분석을 사용하여 기능 중요도를 효율적으로 추정하고 고차원 상호작용을 포착한다. Quasi-Monte Carlo 샘플링과 펌프리션 마스크, 효율적인 Sobol 지수 추정기법을 조합함으로써, 시각 및 NLP 벤치마크에서 최신 기술 수준의 충실도를 달성하며, 백색 상자 방법에 맞추거나 뛰어넘는 성능을 보이며, 기존의 블랙박스 접근 방식보다 계산 시간을 최대 50% 감소시킨다.

ABSTRACT

We describe a novel attribution method which is grounded in Sensitivity Analysis and uses Sobol indices. Beyond modeling the individual contributions of image regions, Sobol indices provide an efficient way to capture higher-order interactions between image regions and their contributions to a neural network's prediction through the lens of variance. We describe an approach that makes the computation of these indices efficient for high-dimensional problems by using perturbation masks coupled with efficient estimators to handle the high dimensionality of images. Importantly, we show that the proposed method leads to favorable scores on standard benchmarks for vision (and language models) while drastically reducing the computing time compared to other black-box methods -- even surpassing the accuracy of state-of-the-art white-box methods which require access to internal representations. Our code is freely available: https://github.com/fel-thomas/Sobol-Attribution-Method

연구 동기 및 목표

• 내부 네트워크 상태에 접근할 수 없더라도 일반적이고 효율적이며 충실도가 높은 블랙박스 설명 방법을 개발하는 것.
• 기존의 블랙박스 방법의 한계, 즉 높은 계산 비용과 고차원 상호작용의 제한된 모델링을 해결하는 것.
• 특히 Sobol 지수를 포함한 민감도 분석 기법을 이미지 및 텍스트와 같은 고차원 입력에 대한 심층 학습 설명 가능성으로 확장하는 것.
• 내부 모델 접근 없이도 분산 기반 할당이 최신 기술 수준의 백색 상자 방법과 동등하거나 뛰어난 성능을 달성할 수 있음을 보여주는 것.
• 시각 및 NLP 벤치마크에서의 검증을 통해 실제 환경에서의 강건성과 효율성을 입증하는 것.

제안 방법

• 메서드는 입력 특징(예: 이미지 픽셀 또는 단어)에 걸쳐 실수 값의 펌프리션 마스크를 샘플링하기 위해 Quasi-Monte Carlo (QMC) 수열을 사용한다.
• 펌프리션 마스크는 입력 특징을 연속적으로 수정하는 인painting 함수를 통해 적용된다(예: 픽셀 강도 감소 또는 NLP에서 단어 존재/부재의 이진화).
• 각 펌프리션된 입력에 대해 모델의 출력 예측을 수집하고, 이러한 출력에서 Sobol 지수를 추정하여 기능 중요도를 정량화한다.
• 일차 Sobol 지수($\mathcal{S}_i$)는 개별 기능 기여도를 측정하고, 총 효과 지수($\mathcal{S}_{T_i}$)는 개별 기여도와 고차원 상호작용 효과를 모두 포괄한다.
• 민감도 분석 문헌에서 기존에 제안된 효율적인 추정기법을 사용하여 필요한 전방 전파 수를 줄여 고차원 입력에 대한 확장성을 확보한다.
• NLP의 경우, 마스크를 이진화하여 단어 제거를 시뮬레이션함으로써, 텍스트 분류 작업에 적용 가능하도록 적응시킨다.

실험 결과

연구 질문

• RQ1 Sobol 기반 민감도 분석이 심층 신경망에 대해 충실도가 높고 효율적인 블랙박스 설명을 효과적으로 적용할 수 있는가?
• RQ2 총 효과 Sobol 지수를 통한 고차원 기능 상호작용의 포함이 일차 방법에 비해 설명 품질을 어떻게 향상시키는가?
• RQ3 이 메서드는 기존의 블랙박스 방법보다 훨씬 빠르면서도 시각 및 NLP 벤치마크에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 내부 모델 표현에 접근이 필요 없음에도 불구하고, 백색 상자 방법의 충실도를 능가하거나 동등하게 유지할 수 있는가?
• RQ5 지속적 vs. 이진 펌프리션 전략의 선택이 이미지 및 텍스트와 같은 다양한 모odal에서 성능에 어떻게 영향을 미치는가?

주요 결과

• 제안된 Sobol 기반 메서드는 bi-LSTM에 대해 IMDB 데이터셋에서 단어 삭제 점수 0.461을 기록하여, 테스트된 모든 기울기 기반 백색 상자 방법을 능가하고 전체 순위에서 2위를 기록한다.
• BERT에 대해서는 평균적으로 절반의 단어가 제거되는 기본 마스크 분포에도 불구하고, 삭제 점수 0.598을 기록하여 경쟁력 있는 성능을 보였다.
• 기존의 블랙박스 방법 대비 계산 비용을 최대 50% 감소시키면서도, 이미지 및 텍스트 벤치마크에서 충실도를 유지하거나 향상시켰다.
• 이미지 분류 작업에서는 최신 기술 수준의 블랙박스 방법과 동등하거나 뛰어나며, 통합 기울기와 같은 백색 상자 방법의 정확도에도 근접하는 성능을 보였다.
• 총 효과 Sobol 지수($\mathcal{S}_{T_i}$)는 눈과 린스 털 끝 사이의 상호작용과 같은 공동 기여도를 효과적으로 강조하여, 메서드가 복잡한 비선형 상호작용을 모델링할 수 있음을 입증한다.
• 메서드는 다양한 모달에 대해 강건하다: 펌프리션 함수를 이진화하여 단어 존재/부재를 적응시키며, 뷰잉에서 NLP로의 일반화를 이끌어내며 높은 성능을 유지한다.