[논문 리뷰] Maximally Invariant Data Perturbation as Explanation

Satoshi Hara, Kouichi Ikeno외 2명|arXiv (Cornell University)|2018. 06. 19.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 7

한 줄 요약

이 논문은 최대한으로 불변하는 데이터 편향 기반의 새로운 특징 스코링 방법을 제안한다. 여기서 특징은 소규모 편향이 모델 예측을 교란시키면 중요하다고 간주된다. 일阶 테일러 근사법을 사용해 선형계획법으로 문제를 공식화함으로써, 이전 방법들보다 더 견고하게 주목할 만한 이미지 영역을 식별할 수 있으며, VGG16 기반의 이미지 분류 실험에서 픽셀 마스킹 상황에서도 분류 정확도를 유지하는 데서 그 성능이 뛰어나다는 게 입증되었다.

ABSTRACT

While several feature scoring methods are proposed to explain the output of complex machine learning models, most of them lack formal mathematical definitions. In this study, we propose a novel definition of the feature score using the maximally invariant data perturbation, which is inspired from the idea of adversarial example. In adversarial example, one seeks the smallest data perturbation that changes the model's output. In our proposed approach, we consider the opposite: we seek the maximally invariant data perturbation that does not change the model's output. In this way, we can identify important input features as the ones with small allowable data perturbations. To find the maximally invariant data perturbation, we formulate the problem as linear programming. The experiment on the image classification with VGG16 shows that the proposed method could identify relevant parts of the images effectively.

연구 동기 및 목표

• 복잡한 머신러닝 모델을 위한 기존 특징 스코링 방법들에서 공식적인 수학적 정의의 부족을 해결하기 위해.
• 적대적 예제의 패러다임을 뒤집어, 예측을 변경시키는 최소한의 편향을 찾는 것이 아니라, 예측을 유지하는 최대한의 편향을 찾는 방식으로 특징 스코링을 공식화하기 위해.
• 선형계획법 근사법을 사용해 불변하는 편향을 효율적으로 식별하는 계산 방법을 개발하기 위해.
• 의료 및 법적 분야와 같은 고위험 분야에서 더 신뢰할 수 있고 수학적으로 탄탄한 설명을 제공함으로써 해석 가능성 향상을 위해.
• 특히 이미지 분류에서 딥러닝 모델의 관련 이미지 영역을 식별하는 데서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 모델의 출력 클래스를 유지하는 최대 편향 집합을 기반으로 한 새로운 특징 스코링 정의를 제안한다.
• 불변 편향 집합을 매개변수 u와 v로 정의된 상자형 영역으로 제한하며, 특징 i에 대해 允가 가능한 총 편향은 u_i + v_i로 정의한다.
• 모델 출력을 일阶 테일러 전개로 근사화하여 반무한 프로그래밍 문제를 해석 가능한 선형계획문제로 변환한다.
• 안정성 향상과 노이즈 감소를 위해 소프트 제약 조건과 매개변수 공유 기법을 도입한다.
• 다양한 소규모 랜덤 편향을 적용해 편향 문제를 여러 번 풀어 안정성을 높인 스무드한 변형을 제안한다.
• 각 패치에 대해 최종 스코어를 2δ - u_m - v_m로 계산하며, 높은 값일수록 특징 중요도가 높음을 의미한다.

실험 결과

연구 질문

• RQ1 불변 데이터 편향 개념에서 공식적이고 수학적으로 탄탄한 특징 중요도 정의를 도출할 수 있는가?
• RQ2 특징 스코링을 위해 모델 출력을 유지하는 최대 편향을 효율적으로 계산할 수 있는가?
• RQ3 제안된 방법이 기존 설명 방법에 비해 더 정확하고 안정적인 주목할 만한 영역을 식별하는가?
• RQ4 픽셀 마스킹 상황에서 모델 예측이 얼마나 잘 유지되는가? 이는 관련 특징의 효과적인 식별을 나타낸다.
• RQ5 매개변수 공유와 스무딩 기법이 결과로 나오는 주목할 만한 지도의 품질과 안정성에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 픽셀 마스킹 상황에서도 기존 기준 방법들보다 분류 정확도를 훨씬 더 잘 유지했으며, 가장 낮은 스코어를 가진 픽셀의 50%를 마스킹해도 예측의 변화가 10% 미만으로 발생했다.
• 매개변수 공유 덕분에 주목할 만한 지도에서 더 높은 신호 대 노이즈 비율을 달성해 더 깔끔하고 일관성 있는 할당 지도를 만들어냈다.
• 동물의 머리만 강조하는 기존 방법들과 달리, 제안된 방법은 곰의 전체 몸통을 관련 영역으로 식별해 특징 중요도에 대한 더 통합적인 이해를 보였다.
• 스무드한 변형은 여러 랜덤 편향에 걸쳐 개선된 안정성을 보였으며, 계산된 스코어의 안정성을 확인했다.
• 선형계획법 공식화 덕분에 효율적인 계산이 가능해져, 이미지와 같은 고차원 입력에 대해서도 확장 가능한 방법이 되었다.
• Gradient, GuidedBP, SmoothGrad, IntGrad, LRP, DeepLIFT, Occlusion 등의 기존 기준 방법들보다 마스킹 상황에서 모델 예측을 더 잘 유지하는 데서 성능이 뛰어났다.