[논문 리뷰] A Novel Generalized Artificial Neural Network for Mining Two-Class Datasets

Wei‐Chang Yeh|arXiv (Cornell University)|2019. 10. 23.

Neural Networks and Applications참고 문헌 8인용 수 12

한 줄 요약

이 논문은 두 클래스 데이터 마이닝을 위한 새로운 일반화된 신경망(GNN)을 제안한다. 여기서 각 데이터셋 속성은 신뢰도 값이 최적화된 간선으로 연결된 노드로 표현된다. 단순화된 군집 최적화(SSO)를 통해 최적화된다. 지능형 몬테카를로 시뮬레이션(iMCS)을 사용하여 GNN 인스턴스의 신뢰도를 근사하고, 이를 기준값과 비교하여 분류를 수행함으로써, 기준 데이터셋에서 서포트 벡터 머신(SVM)과 경쟁 가능한 성능을 달성한다.

ABSTRACT

A novel general neural network (GNN) is proposed for two-class data mining in this study. In a GNN, each attribute in the dataset is treated as a node, with each pair of nodes being connected by an arc. The reliability is of each arc, which is similar to the weight in artificial neural network and must be solved using simplified swarm optimization (SSO), is constant. After the node reliability is made the transformed value of the related attribute, the approximate reliability of each GNN instance is calculated based on the proposed intelligent Monte Carlo simulation (iMCS). This approximate GNN reliability is then compared with a given threshold to predict each instance. The proposed iMCS-SSO is used to repeat the procedure and train the GNN, such that the predicted class values match the actual class values as much as possible. To evaluate the classification performance of the proposed GNN, experiments were performed on five well-known benchmark datasets. The computational results compared favorably with those obtained using support vector machines.

연구 동기 및 목표

• 두 클래스 데이터 마이닝 작업에 특화된 새로운 일반화된 인공신경망(GNN)을 개발하는 것.
• 데이터셋 속성을 네트워크의 노드로 모델링하고, 노드 간 간선을 통해 유사 신경망 가중치와 같은 신뢰도 값을 표현하는 것.
• 분류 정확도 향상을 위해 간선의 신뢰도를 단순화된 군집 최적화(SSO)를 사용하여 최적화하는 것.
• 분류 결정을 위한 인스턴스 수준의 GNN 신뢰도 추정을 위해 지능형 몬테카를로 시뮬레이션(iMCS)을 활용하는 것.
• 예측된 클래스 레이블이 실제 레이블과 가까워지도록 iMCS-SSO를 반복적으로 적용하여 GNN을 훈련하는 것.

제안 방법

• 데이터셋의 각 속성은 GNN 내의 노드로 표현되며, 모든 노드 쌍 간에 유도 간선이 연결된다.
• 신경망 가중치와 유사한 간선의 신뢰도는 단순화된 군집 최적화(SSO)를 통해 최적화된다.
• 노드의 신뢰도는 속성의 값에 따라 변환되어 인스턴스의 신뢰도 계산 근거가 된다.
• 인스턴스의 신뢰도는 지능형 몬테카를로 시뮬레이션(iMCS)을 사용하여 전체 GNN의 신뢰도를 근사한다.
• 사전 정의된 기준값을 사용하여 각 인스턴스의 근사된 GNN 신뢰도를 기반으로 분류한다.
• iMCS-SSO 프레임워크를 반복적으로 적용하여 GNN을 훈련하고, 간선의 신뢰도를 조정함으로써 분류 오차를 최소화한다.

실험 결과

연구 질문

• RQ1 기존의 백프로파게이션에 의존하지 않고도 효과적으로 두 클래스 데이터 마이닝을 처리할 수 있는 일반화된 신경망 모델을 설계할 수 있는가?
• RQ2 속성 간 네트워크에서 간선의 신뢰도를 어떻게 최적화하여 분류 성능을 향상시킬 수 있는가?
• RQ3 iMCS 기반의 신뢰도 추정 방식이 기준 데이터셋에서 전통적인 분류 방법보다 어느 정도 뛰어난 성능을 보일 수 있는가?
• RQ4 SSO가 GNN 아키텍처의 신뢰도 값을 효과적으로 최적화하여 정확한 분류를 가능하게 할 수 있는가?
• RQ5 제안된 GNN은 서포트 벡터 머신과 같은 기존의 모델과 비교하여 성능적으로 어떻게 다른가?

주요 결과

• 제안된 GNN은 다섯 개의 잘 알려진 기준 데이터셋에서 서포트 벡터 머신(SVM)과 비교하여 경쟁 가능한 분류 성능을 달성했다.
• iMCS를 통한 신뢰도 추정은 복잡한 기울기 기반 훈련이 필요 없이도 효과적이고 효율적인 분류를 가능하게 했다.
• SSO는 간선의 신뢰도 최적화에 효과적이었으며, 예측된 클래스 레이블과 실제 레이블 간의 일치도 향상에 기여했다.
• 네트워크 기반의 신뢰도 모델링을 통해 다양한 두 클래스 데이터셋을 효과적으로 처리할 수 있는 강건성을 보였다.
• 결과적으로 iMCS-SSO 훈련 절차가 여러 반복 동안 분류 오차를 성공적으로 최소화했다.
• 백프로파게이션을 피하고 군집 최적화 및 시뮬레이션에 의존함으로써 기존 신경망의 대안으로 유의미한 대안을 제공한다.