[논문 리뷰] Improving Feature Attribution through Input-specific Network Pruning

Ashkan Khakzar, Soroosh Baselizadeh외 4명|arXiv (Cornell University)|2019. 11. 25.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 6

한 줄 요약

이 논문은 단일 입력에 대해 특화된 네트워크 프루닝을 제안하여 노이즈가 많은 기울기 기반 설명을 보다 전역적으로 의미 있는 중요도 맵으로 개선함으로써 딥 네URAL 네트워크 내 특징 할당을 향상시킨다. 한 번의 역전파 단계에서 한 입력에 대해 관련성이 없는 뉴런을 제거함으로써, 기존 방법들보다 여러 벤치마크(ROAR, 픽셀 퍼티루베이션, 세입적 점검)에서 더 정확하고 세밀한 할당 맵을 드러낸다.

ABSTRACT

Attributing the output of a neural network to the contribution of given input elements is a way of shedding light on the black-box nature of neural networks. Due to the complexity of current network architectures, current gradient-based attribution methods provide very noisy or coarse results. We propose to prune a neural network for a given single input to keep only neurons that highly contribute to the prediction. We show that by input-specific pruning, network gradients change from reflecting local (noisy) importance information to global importance. Our proposed method is efficient and generates fine-grained attribution maps. We further provide a theoretical justification of the pruning approach relating it to perturbations and validate it through a novel experimental setup. Our method is evaluated by multiple benchmarks: sanity checks, pixel perturbation, and Remove-and-Retrain (ROAR). These benchmarks evaluate the method from different perspectives and our method performs better than other methods across all evaluations.

연구 동기 및 목표

• 복잡한 네트워크 아키텍처로 인해 기울기 기반 할당 방법이 노이즈가 많거나 局소적인 중요도 추정을 내는 데서 비롯되는 한계를 해결한다.
• 입력에 특화된 프루닝을 통해 국소적 기울기 신호를 전역 중요도 표현으로 변환함으로써 할당 맵의 정밀도를 향상시킨다.
• 입력에 특화된 프루닝과 적대적 편향 간의 이론적 연결 고리를 제공하여 이 방법의 효과성을 정당화한다.
• ROAR, 픽셀 퍼티루베이션 및 세입적 점검과 같은 다수의 정량적 벤치마크를 사용하여 제안된 방법을 종합적으로 평가함으로써 강인성과 신뢰성을 확보한다.
• 프루닝이 할당 맵의 해석 가능성은 유지하면서도 계산 효율성을 유지함을 보여준다.

제안 방법

• 단일 입력에 대해 기여도가 낮은 뉴런을 제거함으로써 입력에 특화된 프루닝을 적용하며, 한 번의 역전파 단계를 사용한다.
• 프루닝된 네트워크에서 기울기를 계산하여 국소적 노이즈가 아닌 전역 중요도를 반영하는 할당 맵을 생성한다.
• 뉴런 활성화 크기를 기반으로 한 프루닝 임계값을 사용하여 주어진 입력에 대해 가장 관련성이 높은 뉴런만 유지한다.
• 수학적 공식을 통해 프루닝된 네트워크의 기울기를 적대적 편향과 연결함으로써, 기울기가 최적의 편향을 근사함을 보여준다.
• Remove-and-Retrain (ROAR) 벤치마크를 활용하여 할당된 특징이 실제로 모델 예측에 기여하는지 정량적으로 검증한다.
• 채널별 절대 기울기의 합을 통해 중간 레이어의 할당을 시각화함으로써 고차원 뉴런 수준의 중요도를 해석 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력에 특화된 프루닝은 노이즈가 많은 국소 기울기 신호를 전역적으로 의미 있는 특징 할당으로 전환할 수 있는가?
• RQ2 단일 입력에 대해 네트워크를 프루닝하는 것은 표준 기울기 기반 방법에 비해 할당 맵의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 프루닝된 네트워크의 기울기가 예측 변화를 최대화하는 최적의 적대적 편향을 어느 정도 근사하는가?
• RQ4 제안된 방법이 ROAR 및 픽셀 퍼티루베이션과 같은 다수의 정량적 벤치마크에서 기존 할당 기법을 초월하는가?
• RQ5 프루닝은 실제로 적대적 편향이 중요한 모델 특징에 기반하는지 아니면 허구적 활성화에 기반하는지 밝혀내는 데 도움이 되는가?

주요 결과

• 제안된 PruneGrad 방법은 BirdSnap 및 CIFAR-10를 포함한 다양한 데이터셋에서 ROAR 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• PruneGrad와 PrunePGD(프루닝된 네트워크에서 투영된 기울기 하강법을 사용)는 거의 동일한 ROAR 점수를 기록하며, 프루닝된 네트워크에서의 기울기가 최적의 편향에 매우 가까운 근사임을 검증한다.
• 프루닝 수준이 높아질수록 프루닝된 네트워크에서의 적대적 편향은 더 중요한 특징을 반영함을 확인하였으며, 이는 프루닝이 관련 없는 경로를 제거하고 할당을 정밀하게 다듬음을 확인한다.
• 모든 세입적 점검을 통과하여 할당이 무작위화의 산물이 아니라 모델 가중치에 민감함을 입증한다.
• 픽셀 퍼티루베이션 결과는 PruneGrad가 예측 신뢰도를 가장 크게 떨어뜨리는 특징을 강조함을 보여주며, 이는 높은 정밀도를 확인한다.
• ResNet-50 및 VGG-16에서의 시각화 결과는 PruneGrad가 표준 기울기 방법보다 더 정확하고 세밀한 할당 맵을 생성함을 보여주며, 특히 깊은 레이어에서 두드러진다.