[논문 리뷰] Neuron Shapley: Discovering the Responsible Neurons

Amirata Ghorbani, James Zou|arXiv (Cornell University)|2020. 02. 23.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 61

한 줄 요약

Neuron Shapley 는 Shapley-값 프레임워크를 도입하여 깊은 네트워크의 개별 뉴런 기여도를 상호작용을 고려해 정량화하고, 효율적인 추정을 위해 다활 밴딧 접근법을 사용합니다. 이는 희소하고 중요한 필터를 식별하고 재훈련 없이 공정성 및 강건성을 위한 사후 학습 모델 수리를 가능하게 합니다.

ABSTRACT

We develop Neuron Shapley as a new framework to quantify the contribution of individual neurons to the prediction and performance of a deep network. By accounting for interactions across neurons, Neuron Shapley is more effective in identifying important filters compared to common approaches based on activation patterns. Interestingly, removing just 30 filters with the highest Shapley scores effectively destroys the prediction accuracy of Inception-v3 on ImageNet. Visualization of these few critical filters provides insights into how the network functions. Neuron Shapley is a flexible framework and can be applied to identify responsible neurons in many tasks. We illustrate additional applications of identifying filters that are responsible for biased prediction in facial recognition and filters that are vulnerable to adversarial attacks. Removing these filters is a quick way to repair models. Enabling all these applications is a new multi-arm bandit algorithm that we developed to efficiently estimate Neuron Shapley values.

연구 동기 및 목표

• 네트워크의 성능에 대한 각 뉴런의 기여도를 뉴럴들 간의 상호작용을 고려하여 정량화한다.
• 대규모 네트워크에서 Neuron Shapley 값을 근사하는 효율적인 알고리즘을 개발한다.
• 작은 수의 뉴런이 정확도, 공정성, 강건성 등의 작업에서 네트워크 성능을 지배할 수 있음을 보여준다.
• 재훈련 없이 중요한 뉴런들을 제거해 모델을 수리할 수 있음을 보인다.

제안 방법

• 네트워크의 성능을 S를 0으로 만들어 비S 뉴런을 제거한 후의 V(S)를 이용해 뉴런에 대한 고유한 공정 분배로 Neuron Shapley 를 정의한다.
• Top-k 영향력 있는 뉴런을 효율적으로 식별하기 위해 새로운 Truncated Multi-Armed Bandit(TMAB) 접근법을 사용한 몬테카를로 Shapley 추정.
• 희소하고 높은 영향의 뉴런을 활용해 계산을 줄이기 위한 조기 절단 및 적응적 샘플링을 도입한다.
• TMAB-Shapley 를 MC-Shapley 와 비교해 샘플 효율성과 높은 정확도를 보인다(R^2 ≈ 0.975, 순위 상관계수 ≈ 0.988).
• ImageNet의 Inception-v3와 CelebA의 SqueezeNet에 대해 정확도, 공정성, 적대적 취약성 등의 태스크에 적용한다.
• 사고 뉴런을 0으로 만들어 공정성 및 강건성을 개선하고 재훈련 없이도 모델을 사후 수리하는 것을 보여준다.

실험 결과

연구 질문

• RQ1 뉴런 간의 상호작용을 포착하면서 개별 뉴런의 기여도를 Neuron Shapley 가 정확하게 정량화할 수 있는가?
• RQ2 대규모 네트워크에서 중요 뉴런의 희소 집합을 식별하기 위해 Shapley 값을 어떻게 효율적으로 근사할 수 있는가?
• RQ3 적은 숫자의 뉴런이 전체 정확도, 공정성, 강건성을 좌우하는가, 그리고 재훈련 없이 이를 제거해 모델을 수리할 수 있는가?
• RQ4 Neuron Shapley가 클래스별 및 레이어별 중요한 뉴런을 드러내고, 이것이 해석가능성과 어떤 관련이 있는가?
• RQ5 편향 및 적대적 취약성의 원인 뉴런을 식별하는 데 Neuron Shapley 가 효과적인가?

주요 결과

• 작은 희소한 뉴런(필터)의 집합이 거의 모든 작업에서 네트워크 성능을 크게 좌우한다.
• 상위 30개의 Shapley 점수를 가진 필터를 제거하면 Inception-v3 의 ImageNet 정확도가 크게 손상된다.
• 범죄성 편향이 높은 태스크에서 원인을 제거하면 공정성이 개선되고 재훈련 없이도 적대적 취약성이 감소한다.
• Neuron Shapley 는 정확도, 공정성, 강건성에 대해 중요한 필터를 식별하는 데 대체 뉴런 중요도 방법들보다 우수하다(예: Neuron Conductance).
• TMAB-Shapley 알고리즘은 MC-Shapley 대비 약 10배 더 적은 샘플로도 높은 정확도(R^2 ≈ 0.975, 순위 상관 ≈ 0.988)를 유지한다.
• 클래스별 뉴런이 존재하며, 일부 필터는 특정 클래스로써 중요하지만 제거 시 전체 성능에 미치는 영향은 최소한인 경우가 있다.