[논문 리뷰] Explaining Bayesian Neural Networks

Kirill Bykov, Marina Höhne외 5명|arXiv (Cornell University)|2021. 08. 23.

Anomaly Detection Techniques and Applications참고 문헌 82인용 수 15

한 줄 요약

이 논문은 베이지안 신경망(BNNs)을 설명하기 위해 단일 히트맵 대신 설명 분포를 생성하는 새로운 방법인 불확실성 인식 중요도(UAI)를 제안한다. 사후 샘플에서의 중요도 맵을 평균화함으로써 UAI는 특성 중요도와 불확실성을 모두 포착하여 조정 가능한 파라미터 𝛼를 통해 위험 회피적 해석을 가능하게 하며, 시뮬레이션, 벤치마크, 실제 병리학 데이터에서의 실험을 통해 모델 행동에 대한 더 뛰어난 내구성과 통찰력을 입증한다.

ABSTRACT

To advance the transparency of learning machines such as Deep Neural Networks (DNNs), the field of Explainable AI (XAI) was established to provide interpretations of DNNs' predictions. While different explanation techniques exist, a popular approach is given in the form of attribution maps, which illustrate, given a particular data point, the relevant patterns the model has used for making its prediction. Although Bayesian models such as Bayesian Neural Networks (BNNs) have a limited form of transparency built-in through their prior weight distribution, they lack explanations of their predictions for given instances. In this work, we take a step toward combining these two perspectives by examining how local attributions can be extended to BNNs. Within the Bayesian framework, network weights follow a probability distribution; hence, the standard point explanation extends naturally to an explanation distribution. Viewing explanations probabilistically, we aggregate and analyze multiple local attributions drawn from an approximate posterior to explore variability in explanation patterns. The diversity of explanations offers a way to further explore how predictive rationales may vary across posterior samples. Quantitative and qualitative experiments on toy and benchmark data, as well as on a real-world pathology dataset, illustrate that our framework enriches standard explanations with uncertainty information and may support the visualization of explanation stability.

연구 동기 및 목표

• 베이지안 신경망(BNNs)의 내재된 예측 불확실성 정량화에도 불구하고, 개별 예측 수준에서의 설명 방법이 부족한 문제를 해결하기 위해.
• BNNs의 모델 투명성과 표준 DNNs에서 사용되는 국소적 설명 방법 간 격차를 메우기 위해.
• BNN 예측에 대해 불확실성 인식 설명을 생성하는 실용적이고 확장 가능한 프레임워크를 개발하기 위해.
• 사용자가 조정 가능한 파라미터 𝛼를 통해 교차(위험 회피적) 또는 합집합(포괄적) 설명을 선택할 수 있도록 하기 위해.
• 실제 조직병리학 영상 포함 다양한 데이터셋에서의 검증을 통해, 체계적인 모델 행동과 오류 요소를 드러내는 데 그 효과성을 입증하기 위해.

제안 방법

• 사후 분포에서 다수의 가중치 구성 샘플을 추출하여 국소적 설명 기법(예: LRP)을 BNNs에 확장한다.
• 각 사후 샘플에 대해 표준 설명 기법(예: 계층별 중요도 전파(LRP))를 사용해 중요도 맵을 계산한다.
• 결과적으로 생성된 중요도 맵 집합은 다양한 네트워크 구성 간 특성 중요도의 변동성을 포착하는 설명 분포를 형성한다.
• 불확실성 인식 설명(UAI)은 가중치가 조정 가능한 방식으로 이 맵들을 평균화하여 계산된다. 이 가중치는 하이퍼파rameter 𝛼에 의해 제어된다.
• 파라미터 𝛼는 사용자가 설명을 조정할 수 있도록 허용한다: 낮은 𝛼는 샘플 간 일관되게 중요한 특성에 초점을 맞추며(교차), 높은 𝛼는 어느 정도의 양의 중요도가 있는 특성도 포함하여 더 포괄적인 설명을 제공한다(합집합).
• 계산 복잡도는 사후 샘플 수에 대해 선형이며, 안정적인 불확실성 추정을 위해 100개의 샘플이 충분함을 입증하였다.

실험 결과

연구 질문

• RQ1 BNNs의 내재된 예측 분포를 고려할 때, 어떻게 의미 있는 불확실성 인식 설명을 생성할 수 있는가?
• RQ2 하이퍼파rameter 𝛼의 값 변화가 생성되는 설명의 해석 가능성과 내구성에 미치는 영향은 무엇인가?
• RQ3 UAI는 데이터 아티팩트나 '현명한 한스' 행동과 같은 허위 상관관계와 진정한 모델 행동을 구분할 수 있는가?
• RQ4 신뢰성과 통찰력 측면에서 UAI는 표준 평균 기반 설명 기준과 비교해 어떻게 다를까?
• RQ5 UAI는 BNNs 내재의 다수의 이질적인 예측 전략을 어느 정도 드러낼 수 있는가?

주요 결과

• UAI는 특성 중요도와 불확실성을 모두 반영하는 설명 분포를 성공적으로 생성하여 BNN 예측에 대한 더 정보가 풍부하고 내구성 있는 해석을 가능하게 하였다.
• 𝛼의 높은 값에서 UAI는 최소한 일부 샘플 네트워크 구성에서 중요도가 있는 특성들을 드러내어 더 다양한 포괄적인 설명을 제공하였다.
• 𝛼의 낮은 값에서 UAI는 여러 샘플 간 일관되게 중요한 특성들을 식별하여 위험 회피적이고 교차 기반의 해석을 제공하였다.
• Pascal VOC 2007 데이터셋에서 UAI는 워터마크 아티팩트가 '말' 분류의 주요 원인임을 정확히 식별하여 체계적인 모델 편향을 탐지할 수 있음을 입증하였다.
• 병원학적 영상 데이터에서의 실험 결과, UAI는 표준 평균 기반 기준 대비 더 세밀하고 신뢰할 수 있는 설명을 제공하였으며, 특히 예측 신뢰도가 높고 낮은 영역을 식별하는 데서 유의미한 성능을 보였다.
• 100개의 사후 샘플만으로도 안정적인 불확실성 추정이 가능하여 실세계 적용에 대한 실용성을 입증하였다.