[논문 리뷰] Rule Extraction using Artificial Neural Networks

S. M. Kamruzzaman, Ahmed Ryadh Hasan|arXiv (Cornell University)|2010. 09. 25.

Neural Networks and Applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 훈련된 인공 신경망에서 해석 가능한 기호적 규칙을 추출하기 위한 이단계 신경망 훈련 방법을 제안한다. 첫 번째 단계에서는 성능을 기반으로 점진적으로 은닉 노드를 추가하여 네트워크를 구축하고, 두 번째 단계에서는 불필요한 연결과 입력 특징을 제거한다. 결과적으로 단순화된 네트워크는 기준 데이터셋에서 강력한 일반화 능력을 보이며 효과적인 규칙 추출이 가능하다.

ABSTRACT

Artificial neural networks have been successfully applied to a variety of business application problems involving classification and regression. Although backpropagation neural networks generally predict better than decision trees do for pattern classification problems, they are often regarded as black boxes, i.e., their predictions are not as interpretable as those of decision trees. In many applications, it is desirable to extract knowledge from trained neural networks so that the users can gain a better understanding of the solution. This paper presents an efficient algorithm to extract rules from artificial neural networks. We use two-phase training algorithm for backpropagation learning. In the first phase, the number of hidden nodes of the network is determined automatically in a constructive fashion by adding nodes one after another based on the performance of the network on training data. In the second phase, the number of relevant input units of the network is determined using pruning algorithm. The pruning process attempts to eliminate as many connections as possible from the network. Relevant and irrelevant attributes of the data are distinguished during the training process. Those that are relevant will be kept and others will be automatically discarded. From the simplified networks having small number of connections and nodes we may easily able to extract symbolic rules using the proposed algorithm. Extensive experimental results on several benchmarks problems in neural networks demonstrate the effectiveness of the proposed approach with good generalization ability.

연구 동기 및 목표

• 훈련된 신경망의 투명성 부족 문제를 해결하기 위해 인간이 이해할 수 있는 기호적 규칙을 추출한다.
• 예측 성능을 희생시키지 않은 채 신경망 예측의 해석 가능성을 향상시킨다.
• 훈련 과정에서 불필요한 특징을 자동으로 식별하고 제거하면서 관련 있는 입력 특징을 유지한다.
• 신경망을 단순화하여 규칙 추출을 더 쉽게 할 수 있는 체계적인 방법을 개발한다.
• 강력한 일반화 능력을 보이는 기준 분류 문제에 대해 제안된 방법을 적용한다.

제안 방법

• 훈련 데이터에서의 네트워크 성능을 기반으로 동적으로 은닉 노드를 추가하는 구성적 훈련 단계를 사용한다.
• 두 번째 단계에서 과도한 연결을 제거하고 네트워크 복잡도를 줄이기 위해 추출 알고리즘을 적용한다.
• 연결 가중치를 분석하여 기여도가 최소인 특징을 제거함으로써 관련 있는 입력 단위를 식별한다.
• 단순화된 네트워크 구조를 활용하여 전용 규칙 추출 알고리즘을 사용해 기호적 규칙을 추출한다.
• 구성적 학습과 추출을 조합하여 모델 정확도와 해석 가능성의 균형을 이룬다.
• 최종 네트워크가 규칙 명확성 향상을 위해 필수적인 노드와 연결만 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 이중 단계 훈련 과정이 규칙 추출을 위해 신경망을 효과적으로 단순화할 수 있는가?
• RQ2 추출 과정에서 얼마나 많은 불필요한 특징을 제거할 수 있으며, 예측 정확도는 유지되는가?
• RQ3 추출된 규칙은 기준 분류 데이터셋에서 얼마나 잘 일반화되는가?
• RQ4 제안된 방법은 모델의 해석 가능성 향상과 함께 높은 성능를 유지할 수 있는가?
• RQ5 노드 및 연결의 자동 선택이 규칙 품질과 네트워크 효율성에 미치는 영향은 어떠한가?

주요 결과

• 이중 단계 훈련 방법은 불필요한 노드와 연결을 제거함으로써 네트워크 복잡도를 성공적으로 감소시켰다.
• 이 방법은 훈련 과정에서 관련 있는 입력 특징을 자동으로 식별하고 유지하면서 불필요한 특성은 제거하였다.
• 단순화된 네트워크에서 추출된 규칙는 기준 데이터셋에서 강력한 일반화 성능를 보였다.
• 표준 역전파 신경망의 투명성 부족 문제를 극복하면서도 예측 정확도와 해석 가능성의 균형을 확보하였다.
• 다양한 분류 문제에 대한 광범위한 실험을 통해 규칙 추출 과정의 효과성을 확인하였다.
• 최종 네트워크 구조는 훨씬 작아졌고, 더 명확한 기호적 규칙 생성이 가능해져 해석 가능성 향상에 기여하였다.