[논문 리뷰] Logic Mining Using Neural Networks

Saratha Sathasivam, Wan Ahmad Tajuddin Wan Abdullah|ArXiv.org|2008. 04. 25.

Neural Networks and Applications참고 문헌 5인용 수 4

한 줄 요약

이 논문은 대규모 데이터베이스에서 논리 규칙을 추출하기 위해 히프리드 신경망을 사용하는 새로운 역분석 방법을 제안한다. 이는 데이터 마이닝에서 신경망의 블랙박스 성질을 극복한다. 훈련된 네트워크 가중치를 분석함으로써 해석 가능한 논리 프로그램을 유추하며, 신경망이 에너지 최소화를 통해 데이터로부터 규칙 추출이 가능하다는 것을 보여준다. 이는 신경망이 논리 마이닝에 효과적인 도구가 될 수 있음을 시사한다.

ABSTRACT

Knowledge could be gained from experts, specialists in the area of interest, or it can be gained by induction from sets of data. Automatic induction of knowledge from data sets, usually stored in large databases, is called data mining. Data mining methods are important in the management of complex systems. There are many technologies available to data mining practitioners, including Artificial Neural Networks, Regression, and Decision Trees. Neural networks have been successfully applied in wide range of supervised and unsupervised learning applications. Neural network methods are not commonly used for data mining tasks, because they often produce incomprehensible models, and require long training times. One way in which the collective properties of a neural network may be used to implement a computational task is by way of the concept of energy minimization. The Hopfield network is well-known example of such an approach. The Hopfield network is useful as content addressable memory or an analog computer for solving combinatorial-type optimization problems. Wan Abdullah [1] proposed a method of doing logic programming on a Hopfield neural network. Optimization of logical inconsistency is carried out by the network after the connection strengths are defined from the logic program; the network relaxes to neural states corresponding to a valid interpretation. In this article, we describe how Hopfield network is able to induce logical rules from large database by using reverse analysis method: given the values of the connections of a network, we can hope to know what logical rules are entrenched in the database.

연구 동기 및 목표

• 신경망 기반 데이터 마이닝에서의 해석 불가능성 문제를 해결하기 위해 훈련된 네트워크에서 논리 규칙을 추출하는 것.
• 신경망 훈련 과정을 뒤집어, 학습된 연결 가중치에서 논리 프로그램을 유추하는 방법을 개발하는 것.
• 히프리드 네트워크가 데이터 기반 학습과 상징적 논리 표현 간의 다리가 될 수 있음을 보여주는 것.
• 해석 가능성 유지하면서 대규모 데이터베이스에서 신경망을 활용한 지식 추출을 가능하게 하는 것.
• 히프리드 네트워크에서 에너지 최소화를 사용한 논리 규칙 유도의 타당성을 검증하는 것.

제안 방법

• 이 방법은 역분석 접근 방식을 사용한다: 훈련된 히프리드 네트워크의 연결 가중치를 바탕으로 논리 규칙을 유추한다.
• 히프리드 네트워크의 에너지 함수를 최소화하여 논리 프로그램의 타당한 해석에 해당하는 안정 상태에 도달한다.
• 훈련된 후 네트워크의 시냅스 가중치 강도와 구성 분석을 통해 논리 규칙을 유도한다.
• 논리 프로그램을 입력으로 사용하여 네트워크를 훈련하며, 연결 가중치를 논리 문장으로 인코딩한다.
• 시스템은 히프리드 네트워크가 조합 최적화 문제를 해결하는 애널로그 컴퓨터 역할을 할 수 있음을 활용한다.
• 학습된 가중치 행렬을 논리적 함의의 표현으로 해석함으로써 가중치에서 논리 규칙으로의 역매핑을 달성한다.

실험 결과

연구 질문

• RQ1 훈련된 히프리드 신경망을 사용해 해석 가능한 논리 규칙을 추출할 수 있는가?
• RQ2 훈련된 히프리드 네트워크의 가중치를 체계적으로 논리 규칙으로 매핑할 수 있는가?
• RQ3 데이터 기반으로 훈련된 신경망이 얼마나 깊이 상징적 논리 표현으로 역공학될 수 있는가?
• RQ4 히프리드 네트워크에서의 에너지 최소화가 데이터로부터 일관된 논리적 해석을 발견하는 데 기여할 수 있는가?
• RQ5 신경망을 예측을 넘어서 상징적 형태의 지식 추출 도구로 사용하는 것은 가능한가?

주요 결과

• 역분석 방법은 훈련된 히프리드 네트워크 가중치를 해석 가능한 논리 규칙으로 성공적으로 매핑하여 데이터에서 지식 추출을 가능하게 한다.
• 이 방법은 논리 프로그램으로 훈련된 신경망이 원래의 논리 문장으로 복원될 수 있음을 보여준다.
• 히프리드 네트워크에서의 에너지 최소화로 안정 상태에 수렴하며, 이는 타당한 논리적 해석에 해당한다.
• 블랙박스 모델을 상징적 논리로 변환함으로써 신경망 기반 데이터 마이닝의 해석 가능성 문제를 해결하는 데 기여한다.
• 논리 프로그래밍 작업에 적용한 결과, 학습된 가중치가 의미 있는 논리적 관계를 인코딩하고 있음을 확인하였다.
• 결과는 히프리드 네트워크가 학습과 상징적 규칙 추출을 위한 계산 기반 구조로 기능할 수 있음을 확인한다.