[논문 리뷰] X-TREPAN: a multi class regression and adapted extraction of comprehensible decision tree in artificial neural networks

Awudu Karim, Shangbo Zhou|arXiv (Cornell University)|2015. 08. 30.

Machine Learning and Data Classification참고 문헌 15인용 수 5

한 줄 요약

X-TREPAN은 훈련된 인공 신경망에서 이해하기 쉬운 결정 트리를 추출하기 위한 새로운 방법을 제안하며, 다중 클래스 회귀 작업을 처리할 수 있도록 TREPAN 알고리즘을 확장한다. 단일 테스트 TREPAN과 C4.5를 신경망 해석에 적응시킴으로써, 분류 정확도를 희생시키지 않은 채 모델의 해석 가능성 향상을 달성하였으며, 실제 데이터셋을 대상으로 한 실험적 평가와 통계적 검증을 통해 검증되었다.

ABSTRACT

In this work, the TREPAN algorithm is enhanced and extended for extracting decision trees from neural networks. We empirically evaluated the performance of the algorithm on a set of databases from real world events. This benchmark enhancement was achieved by adapting Single-test TREPAN and C4.5 decision tree induction algorithms to analyze the datasets. The models are then compared with X-TREPAN for comprehensibility and classification accuracy. Furthermore, we validate the experimentations by applying statistical methods. Finally, the modified algorithm is extended to work with multi-class regression problems and the ability to comprehend generalized feed forward networks is achieved.

연구 동기 및 목표

• 훈련된 인공 신경망의 해석 가능성 향상을 위해 이해하기 쉬운 결정 트리를 추출하는 것.
• TREPAN 알고리즘을 다중 클래스 회귀 문제에 확장하는 것.
• 모델 설명 가능성 향상과 함께 높은 분류 정확도를 유지하는 것.
• 기존의 결정 트리 및 신경망 모델과의 비교를 통해 통계적 분석과 벤치마킹을 통해 방법을 검증하는 것.
• 적응된 결정 트리 추출을 통해 일반화된 피드포워드 신경망의 해석을 가능하게 하는 것.

제안 방법

• 훈련된 신경망에서 결정 트리를 추출하기 위해 단일 테스트 TREPAN 알고리즘을 적응하는 것.
• 결정 트리의 이해 가능성과 성능 향상을 위해 C4.5 결정 트리 유도 기법을 통합하는 것.
• 다중 클래스 회귀 작업을 지원하도록 추출 과정을 수정하는 것.
• 실험 결과와 모델의 강건성을 검증하기 위해 통계적 방법을 적용하는 것.
• 기본 모델과의 비교를 위해 실제 데이터셋을 대상으로 실험적 평가를 수행하는 것.
• 신경망 활성화를 이해하기 쉬운 결정 규칙으로 매핑하는 프레임워크를 설계하는 것.

실험 결과

연구 질문

• RQ1 TREPAN 알고리즘이 인공 신경망에서 다중 클래스 회귀를 효과적으로 지원하도록 확장될 수 있는가?
• RQ2 실제 데이터셋에서 X-TREPAN을 통해 추출된 결정 트리의 이해 가능성은 기준 방법과 비교해 어떻게 되는가?
• RQ3 제안된 방법에서 분류 정확도와 해석 가능성 사이의 상호 교환 관계는 어떠한가?
• RQ4 X-TREPAN은 원래 신경망의 예측 성능을 어느 정도 유지하는가?
• RQ5 통계적 검증 방법은 추출된 결정 트리의 신뢰성을 어느 정도 확인하는가?

주요 결과

• X-TREPAN은 TREPAN 알고리즘을 인공 신경망의 다중 클래스 회귀 문제에 성공적으로 확장하였다.
• 추출된 결정 트리는 높은 분류 정확도를 유지하면서도 모델의 해석 가능성은 크게 향상시켰다.
• 실제 데이터셋을 대상으로 한 실험적 평가를 통해 적응된 단일 테스트 TREPAN 및 C4.5 방법의 효과성을 확인하였다.
• 통계적 검증을 통해 실험 결과의 신뢰성과 강건성을 뒷받침하였다.
• 구조적이고 인간이 읽을 수 있는 결정 규칙을 통해 일반화된 피드포워드 신경망의 이해를 가능하게 하였다.
• 예측 성능와 모델 투명성 사이의 균형 잡힌 상호 보완 관계를 보였다.