[논문 리뷰] Explainable Empirical Risk Minimization

Zhang, L., Karakasidis, G.외 3명|arXiv (Cornell University)|2020. 09. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 4

한 줄 요약

이 논문은 예측 위험과 주관적 설명 가능성 사이의 균형을 사용자별 피드백을 통해 도입함으로써 기계학습 가설을 학습하는 새로운 프레임워크인 설명 가능한 경험적 위험 최소화(EERM)를 제안한다. 사용자 신호에 조건부된 예측의 엔트로피를 정규화 요소로 사용함으로써 EERM은 사용자의 인지적 틀에 맞춰 모델의 해석 가능성을 맞춤형으로 조정하며, 정확도를 희생시키지 않은 채 더 나은 설명 가능성을 달성한다. 이는 날씨 예측 및 혐오 발언 탐지 데이터셋에서 선형 회귀 및 의사결정나무 작업을 통해 입증되었다.

ABSTRACT

The successful application of machine learning (ML) methods becomes increasingly dependent on their interpretability or explainability. Designing explainable ML systems is instrumental to ensuring transparency of automated decision-making that targets humans. The explainability of ML methods is also an essential ingredient for trustworthy artificial intelligence. A key challenge in ensuring explainability is its dependence on the specific human user ("explainee"). The users of machine learning methods might have vastly different background knowledge about machine learning principles. One user might have a university degree in machine learning or related fields, while another user might have never received formal training in high-school mathematics. This paper applies information-theoretic concepts to develop a novel measure for the subjective explainability of the predictions delivered by a ML method. We construct this measure via the conditional entropy of predictions, given a user feedback. The user feedback might be obtained from user surveys or biophysical measurements. Our main contribution is the explainable empirical risk minimization (EERM) principle of learning a hypothesis that optimally balances between the subjective explainability and risk. The EERM principle is flexible and can be combined with arbitrary machine learning models. We present several practical implementations of EERM for linear models and decision trees. Numerical experiments demonstrate the application of EERM to detecting the use of inappropriate language on social media.

연구 동기 및 목표

• 다양한 사용자의 전문 지식 수준이 기계학습의 설명 가능성에 미치는 영향을 고려하여 개인화된, 사용자 기반의 설명 가능성 측도를 도입함으로써 도전 과제를 해결하고자 한다.
• 개별 사용자에게 최적의 경험적 위험과 주관적 설명 가능성 사이의 트레이드오프를 달성할 수 있는 융통성 있는 학습 원칙을 개발하고자 한다.
• 설문지 응답이나 생리적 신호와 같은 사용자 피드백(예: 설문조사, 생리적 측정치 등)을 학습 과정에 통합하여 모델의 해석 가능성을 향상시키고자 한다.
• 사용자 피드백 신호를 통해 사용자 고유의 직관을 통합함으로써 실제 응용에서 모델의 신뢰성과 성능이 향상됨을 입증하고자 한다.
• 모델 특화 수정 없이도 선형 모델과 의사결정나무를 포함한 다양한 모델에 적용 가능한 일반화 가능한 프레임워크를 제공하고자 한다.

제안 방법

• 이 방법은 사용자 피드백 신호 u에 조건부된 모델 예측 h의 조건부 엔트로피 H(h|u)를 주관적 설명 가능성의 척도로 정규화 요소로 사용한다.
• 사용자 피드백 신호 u는 설문조사, 생리적 측정치 또는 기타 사용자 기반 지표를 통해 수집되며, 이를 바탕으로 데이터 포인트 간 사용자 정의 유사도를 정의한다.
• EERM은 경험적 위험과 H(h|u) 기반의 페널티 항을 포함하는 정규화된 위험 최소화 문제로 공식화되며, 상한 bound η에 의해 제약 조건이 설정된다.
• 선형 모델의 경우, H(h|u) ≤ η 조건 하에서 가중치 벡터 w를 최적화하며, 사용자 신호 분포에 대해 정규분포 근사를 사용한다.
• 의사결정나무의 경우, EERM은 각 사용자 신호 값 u에 대해 별도의 트리를 학습하며, 유사한 사용자 피드백에 대해 예측의 일관성을 유지하기 위해 트리 깊이 또는 구조를 제약한다.
• 이 프레임워크는 학습 중 사용자 피드백을 통합하는 알고리즘을 통해 구현되며, 학습 이후 지속적인 사용자 입력이 필요로 하지 않아 스케일러블한 구현이 가능하다.

실험 결과

연구 질문

• RQ1 다양한 사용자의 배경 지식 수준을 고려하여 기계학습 모델을 어떻게 설명 가능하게 만들 수 있는가?
• RQ2 정보 이론 원리를 활용하여 사용자 직관을 반영하는 사용자 기반 설명 가능성 측도를 구성할 수 있는가?
• RQ3 학습 과정에 사용자 피드백 신호를 통합할 경우, 정확도가 저하되지 않도록 모델의 해석 가능성은 어느 정도 향상되는가?
• RQ4 다양한 유형의 모델에 대해 예측 위험과 주관적 설명 가능성 사이의 트레이드오프를 체계적으로 최적화할 수 있는가?
• RQ5 EERM은 날씨 예측 및 혐오 발언 탐지와 같은 실제 작업에 효과적으로 적용되어 설명 가능성과 정확도 향상에 기여할 수 있는가?

주요 결과

• 날씨 예측 작업에서 조건부 엔트로피의 상한 bound η를 증가시킬수록 경험적 위험이 단조롭게 감소함을 확인하여, 설명 가능성 제약이 완화될수록 모델 성능이 향상됨을 나타냈다.
• 선형 회귀에서 최적의 가중치 벡터 w는 η의 변화에 따라 체계적으로 이동함을 발견하여, 모델이 사용자 기반 설명 가능성 요구사항에 적응하고 있음을 보여주었다.
• 혐오 발언 탐지 작업에서 η = 2비트인 EERM로 학습된 의사결정나무는 테스트 정확도 0.929를 달성하여 뛰어난 성능를 보였으며, 동시에 사용자 기반 설명 가능성을 유지하였다.
• 결과로 도출된 의사결정나무는 빈번히 등장하는 악성 트윗의 단어 기반으로 산정된 사용자 신호 u를 루트 노드로 명시적으로 사용함으로써, 모델이 사용자 직관과 예측을 일치시키고 있음을 보여주었다.
• 이 방법은 예측 정확도와 주관적 설명 가능성 사이를 효과적으로 균형 잡았으며, 조건부 엔트로피가 다양한 사용자에게 신뢰할 수 있는 모델을 만들기 위한 효과적인 정규화 요소로 기능함을 확인하였다.
• 수치 실험을 통해 EERM이 선형 모델과 의사결정나무 모두에 대해 융통성 있게 적용 가능하며, 다양한 데이터셋에서 해석 가능성과 성능 향상이 일관되게 관찰됨을 입증하였다.