[논문 리뷰] MonoNet: Towards Interpretable Models by Learning Monotonic Features

An-phi Nguyen, María Rodríguez Martínez|arXiv (Cornell University)|2019. 09. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 36인용 수 5

한 줄 요약

MonoNet는 학습된 특징과 모델 출력 간의 단조성 조건을 강제하여 해석 가능성성을 향상시키는 딥러닝 프레임워크를 제안한다. 전용 레이어를 통해 단조성 제약 조건을 구조적으로 통합함으로써, 모델은 특징의 영향을 독립적으로 추론할 수 있으며, 벤치마크 데이터셋에서 기존 방법에 비해 뛰어난 해석 가능성 성능을 입증하였다.

ABSTRACT

Being able to interpret, or explain, the predictions made by a machine learning model is of fundamental importance. This is especially true when there is interest in deploying data-driven models to make high-stakes decisions, e.g. in healthcare. While recent years have seen an increasing interest in interpretable machine learning research, this field is currently lacking an agreed-upon definition of interpretability, and some researchers have called for a more active conversation towards a rigorous approach to interpretability. Joining this conversation, we claim in this paper that the difficulty of interpreting a complex model stems from the existing interactions among features. We argue that by enforcing monotonicity between features and outputs, we are able to reason about the effect of a single feature on an output independently from other features, and consequently better understand the model. We show how to structurally introduce this constraint in deep learning models by adding new simple layers. We validate our model on benchmark datasets, and compare our results with previously proposed interpretable models.

연구 동기 및 목표

• 기계학습에서의 해석 가능성에 대한 엄밀하고 공통된 정의가 부족한 문제를 해결하기 위해.
• 특징 간 상호작용을 최소화함으로써 모델의 투명성을 높이기 위해 단조성 제약 조건을 도입하기 위해.
• 딥러닝 모델에서 인간이 모의 수행할 수 있고 알고리즘적으로 투명한 모델을 가능하게 하기 위해.
• 후행 설명 방법의 한계를 피하는 구조적이고 글로벌한 해석 가능성 솔루션을 제공하기 위해.
• 신경망에서 높은 예측 성능와 해석 가능성 사이의 격차를 메우기 위해.

제안 방법

• 학습된 특징과 모델 출력 간의 단조성 관계를 구조적 레이어 제약 조건을 통해 강제하는 새로운 신경망 아키텍처인 MonoNet을 도입한다.
• 입력 특징과 은닉 표현 간의 단조성을 강제하는 단순하고 미분 가능한 레이어를 활용하여, 특징 영향이 항상 양수 또는 음수로 일관되게 유지되도록 보장한다.
• 합성곱 필터의 활성화 맵에 최대 풀링을 적용하여 이를 단일한 단조성 단위로 요약함으로써 계층적인 해석 가능한 특징을 형성한다.
• 이중 단계의 해석 과정을 적용한다: 먼저 예측과 연결된 고수준의 단조성 특징을 식별하고, 그 다음에 기저 필터와 활성화 맵으로 거슬러 올라간다.
• 표현형(예: adult, random) 및 이미지(예: MNIST, mushroom) 데이터셋을 대상으로 단조성 특징 순위 매기기와 계층적 특징 해석을 통해 접근을 검증한다.
• 자기 설명 신경망(SENN)과의 비교를 통해 국소적 설명 제약 조건에서 비롯되는 편향을 피하는 데서의 우월성을 입증한다.

실험 결과

연구 질문

• RQ1 특징과 출력 간의 단조성을 강제하는 것이 딥러닝 모델의 해석 가능성성을 향상시킬 수 있는가?
• RQ2 예측 성능을 훼손하지 않으면서 단조성을 신경망에 구조적으로 통합할 수 있는가?
• RQ3 단조성 특징은 인간 사용자가 다른 특징에 의존하지 않고도 모델 결정을 모의하고 추론할 수 있도록 할 수 있는가?
• RQ4 안정성, 局소성, 식별 가능성 측면에서 MonoNet의 접근 방식은 후행 설명 방법과 어떻게 비교되는가?
• RQ5 계층적 단조성 특징는 입력에서 출력에 이르는 종단 간 해석을 어느 정도 지원할 수 있는가?

주요 결과

• MonoNet는 단조성 조건을 강제함으로써 사용자가 다른 특징에 영향을 받지 않고도 개별 특징의 영향을 독립적으로 추론할 수 있도록 하여 해석 가능성성을 향상시켰다.
• 모델은 계층적 해석을 가능하게 한다: 고수준의 단조성 특징에서부터 특정 필터와 활성화 맵으로 거슬러 내려가 결정의 근본 원인을 드러낸다.
• MNIST 데이터셋에서, MonoNet는 활성화 맵를 통해 특정 이미지 영역으로 거슬러 내려가 잘못 분류된 샘플을 성공적으로 식별하였다.
• 이 접근 방식은 안정성 문제, 국소성 편향, 계산 비용 등의 문제를 피하면서도 글로벌 해석 가능성을 유지함으로써 후행 방법보다 뛰어난 성능을 보였다.
• SENN와 비교했을 때, MonoNet는 국소적 설명 제약 조건에서 비롯되는 편향을 유발하지 않으며, 국소 최적화를 통해 학습된 중요도 점수를 필요로 하지 않기 때문이다.
• 벤치마크 데이터셋에 대한 실험 결과는 단조성 특징 학습이 정확성과 해석 가능성 모두를 확보하는 데 기여하며, 고위험 응용 분야에서 신뢰를 구축하는 데 기여함을 확인하였다.