[논문 리뷰] Making Sense of Dependence: Efficient Black-box Explanations Using Dependence Measure

Paul Novello, Thomas Fel외 1명|arXiv (Cornell University)|2022. 06. 13.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 재생핵 힐버트 공간(RKHS) 내 커널 임bedding를 사용하여 이미지 패치와 모델 출력 간의 종속성을 효율적으로 측정하기 위해 힐버트-슈미트 독립성 기준(HSIC)을 사용하는 새로운 블랙박스 설명 방법인 HSIC-Attribution을 소개한다. 이 방법은 최신 블랙박스 방법보다 최대 8배 빠른 추론 속도를 달성하면서도 충실도를 유지하거나 향상시키며, 수직 분해를 통해 쌍별 패치 상호작용을 탐지할 수 있다. 이는 ImageNet 및 YOLOv4와 같은 객체 검출 모델에서의 효과성을 검증한다.

ABSTRACT

This paper presents a new efficient black-box attribution method based on Hilbert-Schmidt Independence Criterion (HSIC), a dependence measure based on Reproducing Kernel Hilbert Spaces (RKHS). HSIC measures the dependence between regions of an input image and the output of a model based on kernel embeddings of distributions. It thus provides explanations enriched by RKHS representation capabilities. HSIC can be estimated very efficiently, significantly reducing the computational cost compared to other black-box attribution methods. Our experiments show that HSIC is up to 8 times faster than the previous best black-box attribution methods while being as faithful. Indeed, we improve or match the state-of-the-art of both black-box and white-box attribution methods for several fidelity metrics on Imagenet with various recent model architectures. Importantly, we show that these advances can be transposed to efficiently and faithfully explain object detection models such as YOLOv4. Finally, we extend the traditional attribution methods by proposing a new kernel enabling an ANOVA-like orthogonal decomposition of importance scores based on HSIC, allowing us to evaluate not only the importance of each image patch but also the importance of their pairwise interactions. Our implementation is available at https://github.com/paulnovello/HSIC-Attribution-Method.

연구 동기 및 목표

• 기존의 몬테카를로 샘플링과 수많은 순방향 전파에 의존하는 블랙박스 설명 방법의 높은 계산 비용을 해결한다.
• 특히 대규모 모델이나 API 환경에서 사용되는 데 적합한, 모델 행동에 충실하면서도 추론 시간을 극적으로 줄인 블랙박스 설명 방법을 개발한다.
• 새로운 커널 기반 분해를 통해 개별 패치 중요도 외에 쌍별 패치 상호작용까지 탐지할 수 있도록 한다.
• 기존의 시각화 맵이 잘못된 분류 원인을 드러내지 못하는 경향이 있는 객체 검출과 같은 덜 일반적인 작업에 대해서도 설명 방법의 적용 가능성을 넓힌다.
• 블랙박스와 화이트박스 설명 방법 간의 성능 격차를 줄이기 위해 블랙박스 기법의 효율성과 화이트박스 접근법의 충실도를 융합한다.

제안 방법

• 재생핵 힐버트 공간(RKHS) 내 커널 임베딩을 활용하여, 변형된 이미지 패치의 분포와 모델 출력 간의 통계적 종속성을 측정하기 위해 힐버트-슈미트 독립성 기준(HSIC)을 사용한다.
• 입력 이미지를 변형하기 위해 무작위 이진 마스크를 샘플링하여, 마스크된 입력을 생성하고, 이들의 출력을 사용해 패치 수준의 변형과 모델 예측 간의 HSIC를 추정한다.
• HSIC 점수의 아노바 유사 수직 분해를 가능하게 하는 새로운 커널 함수를 도입하여, 개별 패치 중요도와 쌍별 패치 상호작용 효과를 분리할 수 있도록 한다.
• RKHS 내 경험적 교차공분산 연산자를 사용해 HSIC를 추정함으로써, 소볼 지수와 같은 분산 기반 방법에 비해 낮은 계산 오버헤드로 효율적인 계산을 가능하게 한다.
• 이 방법을 이미지 분류(ImageNet)와 객체 검출(YOLOv4)에 모두 적용하여 다양한 아키텍처와 작업에서의 강건성을 입증한다.
• 수직 분해를 활용해 개별 기여를 뺀 공동 기여에서 상호작용 점수 $\mathcal{H}^{p}_{i\times j}$ 를 계산함으로써, 중요한 패치 상호작용의 국소화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존 몬테카를로 기반 접근법에 비해 계산 비용을 크게 줄이면서도 높은 충실도를 유지하는 블랙박스 설명 방법을 어떻게 설계할 수 있는가?
• RQ2 RKHS 커널 임베딩 기반 종속성 측정(예: HSIC)이 비선형 상호작용을 더 잘 포착할 수 있는가, 아니면 소볼 지수와 같은 분산 기반 방법보다 성능이 뛰어나게 되는가?
• RQ3 제안된 HSIC 기반 방법과 수직 분해를 통해 이미지 패치 간의 쌍별 상호작용을 의미 있게 탐지하고 국소화할 수 있는가?
• RQ4 이 방법은 시각화 맵이 잘못된 분류 원인을 드러내지 못하는 경향이 있는 객체 검출 모델에 효과적으로 적용될 수 있는가?
• RQ5 이 방법은 충실도 측면에서 화이트박스 방법과 유사한 성능을 달성하면서도 실제 블랙박스 환경에서 적용 가능할 수 있는가?

주요 결과

• HSIC-Attribution은 이전 최고의 블랙박스 설명 방법보다 최대 8배 빠른 추론 속도를 달성하여 계산 비용을 크게 줄였지만 충실도를 훼손하지 않았다.
• 여러 가지 ImageNet 모델과 최신 아키텍처에서 다양한 충실도 지표(예: 충실도, 안정성)에서 최신 기술 수준에 맞추거나 초월하는 성능을 보였다.
• HSIC-Attribution은 YOLOv4와 같은 객체 검출 모델을 성공적으로 설명하였으며, 예를 들어 사자가 잘못 분류된 이유로 배경에 있는 고양이를 정확히 특정하여 설명하였다.
• 제안된 커널은 아노바 유사 수직 분해를 가능하게 하여, 예를 들어 페럿의 콧수염 영역이 눈/이마 영역보다 함께 기여하는 영향이 더 크다는 것처럼 중요한 쌍별 상호작용을 탐지할 수 있었다.
• 정량적 결과로는 페럿의 콧수염에 대해 상호작용 점수 $\mathcal{H}^{p}_{i\times j}$ 가 9.2에 이르며, 눈/이마의 개별 패치 중요도 점수 8.2를 초월함으로써, 비가산 효과를 포착할 수 있음을 입증하였다.
• 이 방법은 어떤 상호작용이 개별 패치 기여만큼 중요할 수 있음을 보여주었으며, 예를 들어 스키 풍경에서 두 개의 옥외 지붕 모서리와 산이 함께 기여하는 상호작용은 개별 기여보다 더 중요함을 보여주었고, 이는 복잡한 추론 패턴을 드러내는 능력을 보여준다.