[논문 리뷰] Streaming Weak Submodularity: Interpreting Neural Networks on the Fly

Ethan R. Elenberg, Alexandros G. Dimakis외 2명|arXiv (Cornell University)|2017. 03. 08.

Adversarial Robustness in Machine Learning참고 문헌 1인용 수 14

한 줄 요약

이 논문은 카디널리티 제약 조건 하에서 약한 하위모듈러 함수를 최대화하기 위한 스트리밍 알고리즘인 Streak을 제안한다. 이는 딥 뉴럴 네트워크의 해석을 빠르고 확장 가능하게 가능하게 한다. 무작위 스트림 순서 하에서 일정 요소 근사 보장을 달성하며, LIME보다 10배 빠르게 동작하면서 Inception V3 예측에 대해 유사한 설명을 제공한다.

ABSTRACT

In many machine learning applications, it is important to explain the predictions of a black-box classifier. For example, why does a deep neural network assign an image to a particular class? We cast interpretability of black-box classifiers as a combinatorial maximization problem and propose an efficient streaming algorithm to solve it subject to cardinality constraints. By extending ideas from Badanidiyuru et al. [2014], we provide a constant factor approximation guarantee for our algorithm in the case of random stream order and a weakly submodular objective function. This is the first such theoretical guarantee for this general class of functions, and we also show that no such algorithm exists for a worst case stream order. Our algorithm obtains similar explanations of Inception V3 predictions $10$ times faster than the state-of-the-art LIME framework of Ribeiro et al. [2016].

연구 동기 및 목표

• 실시간 응용 프로그램에서 블랙박스 딥 뉴럴 네트워크 예측을 효율적으로 해석하는 도전 과제를 해결하기 위해.
• 하위모듈러 함수의 일반화인 약한 하위모듈러 목표 함수에 대해 이론적 근사 보장을 제공하는 스트리밍 알고리즘을 개발하기 위해.
• 모델을 전체적으로 다시 평가할 필요 없이도 빠르고 확장 가능하며 정확한 특성 할당을 가능하게 하기 위해.
• LIME와 같은 기존 방법의 한계를 극복하기 위해, 대규모 데이터셋에서 반복적인 모델 추론으로 인해 느린 점을 해결하기 위해.

제안 방법

• 약한 하위모듈러 목표 함수를 다루기 위해, 스크리브 스트리밍을 게으른 임계값 설정과 이진 탐색으로 확장한다.
• 다양한 임계값을 가진 수정된 게으른 알고리즘의 병렬 인스턴스 집합을 사용하여 다양성과 강건성을 유지한다.
• 무작위 스트림 순서 하에서 γ-약한 하위모듈러 함수에 대해 일정 요소 근사 비율을 증명하기 위한 새로운 분석 프레임워크를 도입한다.
• 메모리 효율적인 설계를 통해 동적으로 임계값을 조정하면서도 O(ε⁻¹k log k)의 공간 복잡도를 유지한다.
• 특성 선택을 집합 함수 최대화 문제로 공식화하여 신경망 해석에 알고리즘을 적용한다.
• 스트리밍 평가에 최적화된 새로운 目적 함수를 도입하여 LIME의 영감을 받았지만 추론 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 하위모듈러 최대화를 위한 스트리밍 알고리즘이 약한 하위모듈러 함수로 일반화될 수 있으며, 이론적 보장을 갖출 수 있는가?
• RQ2 최악의 경우 불가능성에도 불구하고, 무작위 스트림 순서 하에서 약한 하위모듈러 목표 함수에 대해 일정 요소 근사를 달성할 수 있는가?
• RQ3 스트리밍 알고리즘이 LIME보다 속도는 빠르면서도 딥 뉴럴 네트워크에 대해 유사한 설명 품질을 유지할 수 있는가?
• RQ4 약한 하위모듈러리티 파라미터 γ와 카디널리티 제약 조건 k의 변화에 따라 알고리즘의 성능은 어떻게 변화하는가?

주요 결과

• 무작위 스트림 순서 하에서 Streak는 (1−ε)·γ/2·(3−e⁻ᵞ/²−2√(2−e⁻ᵞ/²))의 이론적 근사 비율을 달성하며, 이는 약한 하위모듈러 함수에 대해 처음으로 이러한 보장을 제공한다.
• LIME보다 약 10배 빠르게 동작하면서 Inception V3에서 유사한 품질의 설명을 제공한다.
• 불가능성 결과에 따르면, 최악의 스트림 순서 하에서도 o(N) 메모리로는 일정 요소 근사를 달성할 수 없으며, 0.5-약한 하위모듈러 함수에 대해서도 마찬가지다.
• Streak는 약한 하위모듈러리티 파라미터 γ에 대한 사전 지식이 필요 없어 실시간 응용 프로그램에서 실용적이다.
• 실험적 평가에서 Streak는 정확하고 해석 가능한 특성 할당을 생성하며, 특히 클래스 관련 이미지 영역을 효과적으로 식별하는 데 뛰어나다.
• LIME에 통합했을 때 Streak는 설명 품질을 희생시키지 않고 특성 선택 속도를 향상시켜 일반화 가능성도 입증한다.