[논문 리뷰] Interpretation of Prediction Models Using the Input Gradient

Yotam Hechtlinger|arXiv (Cornell University)|2016. 11. 23.

Topic Modeling참고 문헌 4인용 수 61

한 줄 요약

이 논문은 복잡한 예측 모델, 특히 NLP 분야의 딥 뉴럴 네트워크를 해석하기 위한 일반적이고 모델에 종속되지 않는 방법으로 입력 그래디언트—모델 출력에 대한 입력 변수에 대한 편미분—를 제안한다. 그래디언트가 특성 중요도를 드러내고 전역적인 선형 근사를 가능하게 하며, Bag of Words 표현을 사용한 감성 분류 작업에서 원본 모델과 99.6%의 일치도를 달성함을 보여준다.

ABSTRACT

State of the art machine learning algorithms are highly optimized to provide the optimal prediction possible, naturally resulting in complex models. While these models often outperform simpler more interpretable models by order of magnitudes, in terms of understanding the way the model functions, we are often facing a "black box". In this paper we suggest a simple method to interpret the behavior of any predictive model, both for regression and classification. Given a particular model, the information required to interpret it can be obtained by studying the partial derivatives of the model with respect to the input. We exemplify this insight by interpreting convolutional and multi-layer neural networks in the field of natural language processing.

연구 동기 및 목표

• 복잡한 예측 모델, 특히 딥 뉴럴 네트워크를 위한 일반적이고 모델에 종속되지 않는 해석 방법을 개발하기 위해.
• 기존의 파rameter 기반 분석이 실패하는 '블랙박스' 모델에서의 해석 가능성 문제를 해결하기 위해.
• 입력 그래디언트가 특성 중요도와 모델 행동에 대한 의미 있는 통찰을 제공할 수 있음을 입증하기 위해.
• 그래디언트를 사용해 복잡한 비선형 모델의 정확한 선형 근사를 만들 수 있음을 보여주기 위해.
• 단어 임베딩과 Bag of Words 표현 방식을 모두 사용하여 실제 NLP 작업에서 이 방법을 검증하기 위해.

제안 방법

• 각 입력 특성에 대해 모델 출력에 대한 그래디언트를 계산함으로써 특성 영향력을 평가함: 즉, ∇f(x) = (∂f/∂x₁, ..., ∂f/∂xₚ).
• 체인 규칙을 활용하여 신경망에서 효율적으로 그래디언트를 계산하기 위해 역전파(backpropagation)를 사용함.
• 테스트 세트 전체에 걸쳐 평균 그래디언트 벡터 g̃ = (ḡ₁, ..., ḡₚ)를 계산하여 특성 중요도의 전역 측도를 확보함.
• 평균 그래디언트 벡터 g̃를 사용하여 선형 분류기로 모델의 결정 경계를 근사함: ⟨g̃, x_new⟩ > 0 이면 예측 결과를 1로 삼음.
• 개별 문장에 대한 국소적 해석(예: 문장 수준)과 데이터셋 전체에 걸친 전역적 해석(예: 단어 수준의 영향력)에 모두 이 방법을 적용함.
• 비가능분리 특성(예: 이진 BoW)은 작은 이웃 영역 내에서 연속적임을 가정하여 그래디언트 추정을 가능하게 함.

실험 결과

연구 질문

• RQ1 입력 그래디언트는 복잡성에 관계없이 어떤 예측 모델에도 일반적인 해석 도구로 기능할 수 있는가?
• RQ2 딥 러닝 모델에서 입력 특성의 진정된 영향력이 입력 그래디언트에 얼마나 잘 반영되는가?
• RQ3 평균 그래디언트 벡터는 복잡한 모델의 결정 경계를 신뢰할 수 있는 전역 근사로 제공할 수 있는가?
• RQ4 평균 그래디언트 기반 선형 분류기가 비선형 모델의 예측을 어느 정도 재현할 수 있는가?
• RQ5 감성 분류와 같은 NLP 작업에서 그래디언트는 의미 있고 해석 가능한 패턴을 어떻게 드러내는가?

주요 결과

• 평균 그래디언트 벡터 g̃는 신뢰할 수 있고 전역적인 특성 중요도 추정을 제공하며, 'excellent'와 'worst'와 같은 상위 랭크된 단어들이 높은 해석 가능성과 함께 나타남.
• g̃ 기반 선형 분류기가 테스트 세트에서 원본 모델과 99.6% 일치도를 달성하여 결정 경계가 약간의 선형성을 띠고 있음을 시사함.
• 개별 문장에서 영향력 있는 단어를 성공적으로 식별함: 예를 들어 'ape was outstanding' 문장에서 'ape'의 그래디언트 노름이 높아 영향력 있는 단어로 확인됨.
• 이진 BoW 벡터와 같은 비가능분리 특성에 대해서도 국소적 편미분을 통한 그래디언트 추정이 효과적이고 정보가 풍부함.
• 이 방법은 컨볼루션 신경망과 다층 신경망을 포함한 다양한 모델 유형으로 일반화됨.
• 직접적인 파라미터-특성 매핑이 존재하지 않는 복잡한 모델에서는 기존의 파라미터 기반 해석보다 그래디언트 기반 방법이 더 우수함.