[논문 리뷰] Towards falsifiable interpretability research

Matthew L. Leavitt, Ari S. Morcos|arXiv (Cornell University)|2020. 10. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 97인용 수 28

한 줄 요약

이 논문은 깊이 신경망(DNNs)에서 검증 가능한 해석 가능성 연구를 위한 프레임워크를 제안한다. 이는 검증되지 않은 직관과 시각화에 대한 과도한 의존을 해결하기 위한 것으로, 약한 것에서 강한 것까지의 가설 계층을 도입하여 모호한 직관을 검증 가능하고 반증 가능한 예측으로 전환하는 방법을 보여준다. 주요 기여는 해석 가능성 연구가 민감한 근거 기반 통찰을 도출하고 잘못된 결론을 피할 수 있도록 체계적인 방법을 제공하는 것이다.

ABSTRACT

Methods for understanding the decisions of and mechanisms underlying deep neural networks (DNNs) typically rely on building intuition by emphasizing sensory or semantic features of individual examples. For instance, methods aim to visualize the components of an input which are "important" to a network's decision, or to measure the semantic properties of single neurons. Here, we argue that interpretability research suffers from an over-reliance on intuition-based approaches that risk-and in some cases have caused-illusory progress and misleading conclusions. We identify a set of limitations that we argue impede meaningful progress in interpretability research, and examine two popular classes of interpretability methods-saliency and single-neuron-based approaches-that serve as case studies for how overreliance on intuition and lack of falsifiability can undermine interpretability research. To address these concerns, we propose a strategy to address these impediments in the form of a framework for strongly falsifiable interpretability research. We encourage researchers to use their intuitions as a starting point to develop and test clear, falsifiable hypotheses, and hope that our framework yields robust, evidence-based interpretability methods that generate meaningful advances in our understanding of DNNs.

연구 동기 및 목표

• 해석 가능성 연구에서 직관과 시각화에 대한 과도한 의존을 해결하여 잘못된 결론을 유도할 위험을 줄이기 위해.
• 현재 해석 가능성 방법에서 나타나는 반증 가능하지 않은 가설, 검증되지 않은 가정, 부족한 정량화와 같은 핵심적 장애요소를 규명하기 위해.
• 직관 기반의 가설을 구체적이고 반증 가능한 과학적 진술로 전환할 수 있는 체계적인 프레임워크를 제공하기 위해.
• 인과 테스트, 기준선, 대안적 설명을 강조함으로써 해석 가능성 연구의 엄밀함을 향상시키기 위해.
• 시각적 또는 의미적 직관이 아닌 과학적 검증을 통해 DNN 메커니즘에 대한 더 신뢰할 수 있고 영향력 있는 통찰을 도출할 수 있도록 하기 위해.

제안 방법

• 약한, 평균, 강한 가설의 계층을 제안하여 모호한 직관에서 시작해 검증 가능하고 반증 가능한 예측으로 진행되는 과정을 설명한다.
• ‘중요하다’와 같은 모호한 용어를 ‘특징 선택성 뉴런을 제거하면 테스트 정확도가 감소한다’와 같은 인과적이고 측정 가능한 진술로 대체한다.
• 필수성 테스트를 위한 핵심 방법으로 제거 실험을 도입하며, 특징 선택성 강도에 따라 정확도 변화에 대한 구체적 예측을 제시한다.
• 축에 평행한 방향과 축에 평행하지 않은 방향의 특징 방향에 대한 제거 효과를 비교하여 단일 뉴런과 분산 표현 기여도를 구분한다.
• 우연의 기대치를 초월한 의미 있는 효과인지 평가하기 위해 기준선(예: 우연 수준의 뉴런 수)을 사용한다.
• 과학적 타당성을 강화하고 결과의 과도한 해석을 방지하기 위해 대안적 가설과 경쟁 가능한 설명을 통합한다.

실험 결과

연구 질문

• RQ1 강한 시각적 또는 의미적 직관이 있음에도 불구하고 잘못된 결론을 이끌어내는 현재 해석 가능성 연구의 핵심적 장애요소는 무엇인가?
• RQ2 DNN 동작에 대한 모호하고 직관 기반의 가설을 어떻게 반증 가능하고 검증 가능한 과학적 진술로 전환할 수 있는가?
• RQ3 색조 맵과 단일 뉴런 해석이 실제 모델 행동을 반영하는지, 아니면 시각화나 설계의 산물일 뿐인지 어느 정도인지?
• RQ4 단일 뉴런과 분산 표현 기여도의 기여를 구분할 수 있는 실험 설계는 무엇인가?
• RQ5 해석 가능성 방법이 시각적으로 타당해 보일 뿐 아니라 과학적으로 엄밀하고 경험적으로 검증 가능하도록 보장하기 위해선 어떻게 해야 하는가?

주요 결과

• 많은 해석 가능성 방법은 색조 맵이나 특징 선택성 뉴런이 실제 모델 메커니즘을 반영한다는 믿음과 같은 검증되지 않은 가정을 수반한다.
• 실험적 검증 없이 시각화와 의미적 직관만을 사용하면 해석 가능성 연구에서 환상적인 진전과 잘못된 결론을 초래할 수 있다.
• 강력한 가설은 단지 그러한 뉴런의 존재를 주장하는 것보다도, 특징 선택성 뉴런을 제거한 후 정확도가 측정 가능한 수준으로 감소한다는 명확하고 반증 가능한 예측을 포함해야 한다.
• 이 프레임워크는 단일 뉴런과 분산 표현이 DNN에서 필요성과 충분성의 관계를 분리할 수 있음을 보여준다.
• 축에 평행하지 않은 특징 선택성 방향을 제거하면 단일 뉴런을 제거하는 것보다 더 큰 정확도 감소가 발생할 수 있으며, 이는 네트워크가 분산 표현에 더 의존할 수 있음을 시사한다.
• 이 프레임워크는 연구자가 경쟁 가설을 테스트하고 관측된 효과가 기준선 기대치를 초월하는지 평가할 수 있도록 하여 해석 가능성 연구의 과학적 엄밀함을 높인다.