[논문 리뷰] Assessing the Stability of Interpretable Models.

Riccardo Guidotti, Salvatore Ruggieri|arXiv (Cornell University)|2018. 10. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 24인용 수 6

한 줄 요약

이 논문은 의사결정 트리, 규칙 집합, 선형 모델과 같은 본질적으로 해석 가능한 모델의 해석 가능성에 데이터 선택 편향이 미치는 영향을 조사한다. 실험적 분석을 통해 이러한 모델들이 편향 조건 하에서도 예측 능력은 유지되지만, 결정 논리의 명확성과 일관성 측면에서 해석 가능성은 상당히 악화됨을 입증한다. 이는 실제 데이터 환경에서 모델의 투명성과 내구성 사이에 중요한 격차가 있음을 드러낸다.

ABSTRACT

Interpretable classification models are built with the purpose of providing a comprehensible description of the decision logic to an external oversight agent. When considered in isolation, a decision tree, a set of classification rules, or a linear model, are widely recognized as human-interpretable. However, such models are generated as part of a larger analytical process, which, in particular, comprises data collection and filtering. Selection bias in data collection or in data pre-processing may affect the model learned. Although model induction algorithms are designed to learn to generalize, they pursue optimization of predictive accuracy. It remains unclear how interpretability is instead impacted. We conduct an experimental analysis to investigate whether interpretable models are able to cope with data selection bias as far as interpretability is concerned.

연구 동기 및 목표

• 해석 가능한 모델이 데이터 선택 편향 하에서도 여전히 해석 가능성을 유지하는지 평가하기 위해.
• 데이터 수집 및 전처리 편향이 모델의 결정 논리 명확성에 미치는 영향을 조사하기 위해.
• 인간 감시를 위해 설계된 모델의 해석 가능성 안정성을 평가하기 위해.
• 예를 들어 의사결정 트리, 규칙 집합, 선형 모델 등 다양한 해석 가능한 모델이 편향된 데이터에 어떻게 반응하는지 비교하기 위해.

제안 방법

• 시스템적 데이터 선택 편향이 가해진 시뮬레이션된 데이터와 실제 데이터 세트를 대상으로 통제된 실험을 수행한다.
• 의사결정 트리, 규칙 집합, 선형 모델과 같은 해석 가능한 모델을 편향된 데이터와 비편향된 데이터 서브셋에서 학습시킨다.
• 다양한 편향 수준에서 결정 논리의 명확성과 일관성에 대한 인간 평가를 통해 모델의 해석 가능성을 평가한다.
• 예측 정확도 및 해석 가능성 메트릭을 모델 유형과 편향 조건 간에 측정하고 비교한다.
• 실제 데이터 수집 문제를 시뮬레이션하기 위해 데이터 필터링 및 샘플링 전략을 활용해 편향을 도입한다.
• 편향 수준과 해석 가능성 및 모델 성능의 변화 간 상관관계를 분석하기 위해 통계적 분석을 사용한다.

실험 결과

연구 질문

• RQ1 데이터 선택 편향은 의사결정 트리, 규칙 집합, 선형 모델의 해석 가능성에 어떻게 영향을 미치는가?
• RQ2 다양한 수준의 데이터 편향 하에서 해석 가능한 모델이 일관된 결정 논리를 유지하는 정도는 어느 정도인가?
• RQ3 다양한 유형의 해석 가능한 모델 간 해석 가능성의 안정성은 어떻게 비교되는가?
• RQ4 편향 조건 하에서 증가한 예측 정확도는 해석 가능성의 유지와 관련이 있는가?

주요 결과

• 해석 가능한 모델은 예측 정확도가 유지되더라도 데이터 선택 편향 노출 시 해석 가능성에 상당한 악화가 발생함을 확인하였다.
• 의사결정 트리와 규칙 집합은 편향에 특히 민감하여 종종 일관되지 않거나 오해의 소지가 있는 결정 경로를 생성함을 확인하였다.
• 선형 모델은 편향 조건 하에서도 더 안정된 해석 가능성을 유지하지만, 여전히 특성 중요도 해석의 명확성이 감소함을 확인하였다.
• 연구는 예측 성능와 해석 가능성 안정성 사이에 괴리가 있음을 밝혀내었으며, 높은 정확도가 신뢰할 수 있는 해석 가능성을 보장하지는 않음을 시사한다.
• 인간 평가자들은 모델 유형에 관계없이 편향된 모델을 더 투명하지도 않고 이해하기 어려운 것으로 일관되게 평가하였다.
• 결과적으로 해석 가능성은 데이터 편향에 대해 본질적으로 내구성이 있다고 보장되지 않으며, 실세계 환경에서 해석 가능한 모델의 신뢰성에 대한 기존의 가정을 도전한다.