[논문 리뷰] Towards Interrogating Discriminative Machine Learning Models

Wenbo Guo, Kaixuan Zhang외 3명|arXiv (Cornell University)|2017. 05. 23.

Machine Learning and Data Classification참고 문헌 15인용 수 6

한 줄 요약

이 논문은 복잡한 분류 기반 기계학습 모델의 전역적이고 모델 전체에 걸친 설명을 제공하기 위해 다중 엘라스틱넷을 통합한 베이지안 회귀 혼합 모델을 제안한다. 결정 경계를 전역적으로 근사화함으로써, 개별 예측에 대한 정확한 설명 외에도, 적대적 예제 생성을 통해 모델의 취약점을 파악할 수 있으며, 텍스트 및 이미지 작업 전반에서 최신 기술 대비 심도 있는 가시성과 해석 가능성에서 뛰어난 성능을 발휘한다.

ABSTRACT

It is oftentimes impossible to understand how machine learning models reach a decision. While recent research has proposed various technical approaches to provide some clues as to how a learning model makes individual decisions, they cannot provide users with ability to inspect a learning model as a complete entity. In this work, we propose a new technical approach that augments a Bayesian regression mixture model with multiple elastic nets. Using the enhanced mixture model, we extract explanations for a target model through global approximation. To demonstrate the utility of our approach, we evaluate it on different learning models covering the tasks of text mining and image recognition. Our results indicate that the proposed approach not only outperforms the state-of-the-art technique in explaining individual decisions but also provides users with an ability to discover the vulnerabilities of a learning model.

연구 동기 및 목표

• 딥 네ural 네트워크와 같은 복잡한 분류 기반 모델에서 전역적 해석 가능성의 부족을 해결하기 위해.
• 사용자가 개별 예측을 넘어서 모델의 강점과 약점을 검토할 수 있도록 하기 위해.
• 고차원적이고 상관관계가 높은 특징에서 전역적 패턴을 추출할 수 있는 블랙박스 설명 방법을 개발하기 위해.
• 추출된 패턴을 바탕으로 적대적 및 병리적 예제를 생성하여 모델의 취약점을 탐지하기 위해.
• LIME과 같은 기존 국소적 설명 기법을 넘어서 모델 행동의 통합적 시각을 제공하기 위해.

제안 방법

• 이 방법은 목표 기계학습 모델의 결정 경계를 전역 함수로 근사하기 위해 베이지안 선형 회귀 혼합 모델을 활용한다.
• 다중 엘라스틱넷을 혼합 모델에 통합하여 고차원적이고 상관관계가 높은 입력 데이터로부터 특징 선택 및 패턴 추출을 향상시킨다.
• 모델은 각각 국소적 결정 규칙을 나타내는 혼합 성분의 집합을 학습하며, 중요한 특징을 식별하기 위해 정규화를 적용한다.
• 엘라스틱넷 정규화된 성분의 계수와 가중치를 분석함으로써 전역적 설명을 도출한다.
• 모델이 식별한 패턴을 바탕으로 적대적 및 병리적 입력을 생성하여 모델의 강건성 테스트를 수행한다.
• 이 접근법은 목표 모델을 블랙박스로 간주하며, 설명 모델 학습에 입력-출력 쌍만 필요로 한다.

실험 결과

연구 질문

• RQ1 전역적 설명 모델은 복잡한 분류 기반 모델의 결정 행동을 효과적으로 포괄할 수 있는가?
• RQ2 추출된 패턴은 입력 위치나 회전에 대한 민감도와 같은 모델의 취약점을 드러낼 수 있는가?
• RQ3 이 방법은 LIME과 같은 국소적 설명 기법과 비교해 개별 예측을 설명하는 데 얼마나 효과적인가?
• RQ4 이 방법은 모델의 약점을 드러내는 데 얼마나 효과적으로 적대적 예제를 탐지하고 생성할 수 있는가?
• RQ5 이 방법은 딥 네럴 네트워크 및 전통적 분류기와 같은 다양한 유형의 모델에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 특히 전역적 결정 패턴을 포착하는 데 있어 최신 기술의 국소적 설명 기법을 능가하여 개별 예측 설명에서 뛰어난 성능을 발휘한다.
• 추출된 패턴을 바탕으로 생성된 적대적 예제는 99% 이상의 신뢰도로 딥 네럴 네트워크에서 오분류를 유도하여, 특정 입력 영역에 대한 모델 민감도를 확인했다.
• 고에너지 패턴 영역을 무작위화한 병리적 샘플들 역시 거의 100%의 신뢰도로 분류되었으며, 이는 인간이 인식할 수 있는 특징이 아닌 학습된 패턴에 의존하고 있음을 시사한다.
• 텍스트 분류 작업에서는 방법이 식별한 핵심 단어(예: 'dos')를 다른 클래스의 단어로 대체함으로써 모델의 신뢰도가 급격히 감소함을 확인하여, 추출된 패턴의 정확성을 검증했다.
• 모델이 시각적으로 유사한 클래스(예: 숫자 4와 9)를 구분하는 데 어려움을 겪을 수 있음을 드러내어, 특징 구분 능력에 내재된 약점을 시사했다.
• 이 방법은 숫자 분류기가 중심 이미지 영역에 크게 의존하고 있으며, 제한된 회전에 대해 관용적임을 성공적으로 식별하여 관찰된 모델 행동과 일치함을 확인했다.