[논문 리뷰] Right for the Right Reasons: Training Differentiable Models by Constraining their Explanations

Andrew Slavin Ross, Michael C. Hughes외 1명|arXiv (Cornell University)|2017. 03. 10.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 입력 기울기를 제약하여 예측을 올바른 이유로 내리도록 보장함으로써, 기울기 기반 설명과 정규화를 적용하여 분포 이탈 상황에서도 일반화 능력을 향상시키는 방법을 제안한다. 이는 명시적 애너테이션 없이도 작동하며, 반복 최적화를 통해 다양한, 강건한 결정 경계를 발견할 수 있다.

ABSTRACT

Neural networks are among the most accurate supervised learning methods in use today, but their opacity makes them difficult to trust in critical applications, especially when conditions in training differ from those in test. Recent work on explanations for black-box models has produced tools (e.g. LIME) to show the implicit rules behind predictions, which can help us identify when models are right for the wrong reasons. However, these methods do not scale to explaining entire datasets and cannot correct the problems they reveal. We introduce a method for efficiently explaining and regularizing differentiable models by examining and selectively penalizing their input gradients, which provide a normal to the decision boundary. We apply these penalties both based on expert annotation and in an unsupervised fashion that encourages diverse models with qualitatively different decision boundaries for the same classification problem. On multiple datasets, we show our approach generates faithful explanations and models that generalize much better when conditions differ between training and test.

연구 동기 및 목표

• 학습 데이터 내에서 비의미적인 상관관계나 혼란 요인에 의존하는 모델가 고정밀도를 달성하는 문제를 해결하기 위해.
• 입력 기울기를 신뢰할 수 있고 효율적인 설명으로 사용하여 기울기 기반 설명 및 정규화를 수행할 수 있는 확장 가능한 방법을 개발하기 위해.
• 학습 데이터와 테스트 데이터가 다를 경우에도 더 잘 일반화되는 결정 경계를 학습할 수 있도록 하기 위해.
• 전문가 애너테이션이 제공되지 않을 경우에도 서로 다른 질적 특성을 띠는 정확한 분류기들을 발견할 수 있는 메커니즘을 제공하기 위해.

제안 방법

• 이 방법은 모델 예측의 국소적, 일阶 설명으로서 입력 기울기를 사용하며, 계산적으로 효율적이고 모델의 결정 경계에 충실하다.
• 의도하지 않은 기울기 패턴을 방지하기 위해 기울기 기반 정규화 손실을 도입하여, 의미 있는 입력 특징에 의존하도록 모델을 유도한다.
• 애너테이션이 있는 경우, 전문가가 제공한 제약 조건 $ A $ 를 적용하여 기울기 페널티를 유도함으로써 모델이 정확한 추론 방식을 학습하도록 한다.
• 애너테이션이 없는 경우, 반복적인 '다른 설명 찾기' 과정을 통해 서로 다른 결정 경계를 지닌 다양한 고정확도 모델을 발견한다.
• 기울기 페널티를 표준 교차 엔트로피 손실에 통합하여 최소한의 계산 오버헤드로 종단 간 훈련이 가능하도록 한다.
• 노름 기반 페널티(예: L1) 및 기울기 방향 또는 크기에 대한 특징별 제약 조건을 포함한 다양한 정규화를 지원한다.

실험 결과

연구 질문

• RQ1 입력 기울기가 모델의 추론를 파악하고 정규화를 이끄는 충실하고 확장 가능한 설명으로 기능할 수 있는가?
• RQ2 학습 데이터와 테스트 데이터의 분포가 다를 경우, 기울기 기반 제약 조건이 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ3 전문가 애너테이션이 없이도, 서로 다른 질적 특성을 띠는 정확한 분류기들을 발견할 수 있는가?
• RQ4 기울기 페널티는 모델 결정 경계의 해석 가능성과 강건성에 어떤 영향을 미치는가?
• RQ5 이러한 접근 방식은 혼란 요인(예: 천식이 폐렴 재입원 위험을 낮게 예측하는 것 등)으로 인한 문제를 완화할 수 있는가?

주요 결과

• Iris 및 Cancer 데이터셋에서, 이 방법은 훈련 정확도는 낮지만 훨씬 높은 테스트 정확도를 보이는 모델을 발견하여, 비의미적인 특징에 의존하지 않는 일반화 능력 향상을 시사한다.
• Decoy MNIST에서, 이 방법은 단 한 번의 반복만으로 기준 정확도를 복구하여, 혼란 요인을 포함한 훈련 데이터에서의 빠른 회복 능력을 입증했다.
• 반복 과정을 거치며 기울기 패턴이 더 직관적이고 균일하게 분포되었으며, 밝게 빛나는 선형 특징이 숫자 확률을 높인다는 점을 기울기가 정확히 반영했다.
• 20 Newsgroups에서, 반복 과정 동안 클래스 레이블에 대한 단어 연관성이 의미적으로 변화하면서도 높은 훈련 정확도를 유지하여, 동적이고 다양한 결정 경계를 보여주었다.
• 기울기 페널티 강도($ \lambda_1 $)가 너무 높아지면 모델 행동이 비정상적으로 변하여, 적절한 초모수 튜닝이 필요함을 시사했다.
• 명시적인 경고 없이도, 오염된 특징에 대한 경고 없이도 더 잘 일반화되는 모델을 자발적으로 발견함으로써, 데이터 혼란 요인에 대한 강건성을 보였다.