[논문 리뷰] Building a Chaotic Proved Neural Network

Jacques M. Bahi, Christophe Guyeux외 1명|arXiv (Cornell University)|2011. 01. 23.

Neural Networks and Applications참고 문헌 15인용 수 4

한 줄 요약

이 논문은 Devaney의 혼돈 기준을 통해 정의된 혼돈적 반복과 전역 순환 다층 퍼셉트론(MLP) 사이의 형식적 대응 관계를 수립하며, 일부 신경망이 수학적으로 혼돈적일 수 있음을 증명한다. 반복 함수의 그래프가 강하게 연결되어 있음을 보장함으로써, 저자들은 Devaney 혼돈을 나타내는 MLP를 설계하고 훈련시켰으며, 엄밀한 수학적 검증을 통해 이루어진 첫 번째 증명된 혼돈적 인공신경망을 제시한다.

ABSTRACT

Chaotic neural networks have received a great deal of attention these last years. In this paper we establish a precise correspondence between the so-called chaotic iterations and a particular class of artificial neural networks: global recurrent multi-layer perceptrons. We show formally that it is possible to make these iterations behave chaotically, as defined by Devaney, and thus we obtain the first neural networks proven chaotic. Several neural networks with different architectures are trained to exhibit a chaotical behavior.

연구 동기 및 목표

• 보안 응용 분야에서 사용되는 신경망 내 혼돈성에 대한 수학적 증명 부족 문제를 해결하기 위해.
• Devaney의 위상적 혼돈 프레임워크를 사용하여 인공신경망 내 혼돈을 형식적으로 정의하고 검증하기 위해.
• 혼돈적 반복과 전역 순환 다층 퍼셉트론(MLP) 사이의 정확한 수학적 대응 관계를 수립하기 위해.
• 특정 반복 함수를 통해 MLP를 훈련시켜 증명된 혼돈적 행동을 나타내도록 하는 방법을 개발하기 위해.
• 다양한 네트워크 아키텍처와 함수를 대상으로 한 경험적 훈련 결과를 통해 접근 방식을 검증하기 위해.

제안 방법

• 논문은 반복 과정에서 전략 시퀀스에 따라 오직 한 개의 셀만 업데이트되는 시스템으로서 혼돈적 반복을 정의하며, 상태 전이가 함수 f에 의해 결정된다.
• 반복 함수 f에 대해 Devaney의 혼돈 기준—위상적 전이성, 정규성(조밀한 주기점 집합), 민감한 의존성—을 적용한다.
• 혼돈성을 확보하기 위한 핵심 조건은 f의 그래프가 강하게 연결되어 있어야 한다는 것으로, 이는 이 맥락에서 Devaney 혼돈에 대해 필수적이고도 충분한 조건이다.
• 저자들은 MLP가 함수 f를 학습하도록 맵핑함으로써 혼돈적 반복을 전역 순환 MLP로 변환하며, L-BFGS 최적화와 평균 제곱오차(MSE) 임계값 10^-2를 사용한 역전파 알고리즘을 적용한다.
• 강한 연결성을 확보하기 위해 특정한 구조를 가진 부울 함수 f(예: f1(x) = (¬x1, x1, x2, ..., xN-1))를 사용한다.
• 실험적 검증은 하나 또는 두 개의 은닉층을 가진 MLP를 대상으로 하며, 뉴런 수를 다양하게 설정하고, 25번의 랜덤 초기화를 통해 훈련 에포크 수와 성공률을 측정한다.

실험 결과

연구 질문

• RQ1 인공신경망이 Devaney 정의에 따라 수학적으로 혼돈을 나타낼 수 있는가?
• RQ2 반복 함수 f에 어떤 조건이 있어야 혼돈적 반복이 위상적 전이성과 정규성을 만족하는가?
• RQ3 혼돈적 반복을 전역 순환 다층 퍼셉트론 아키텍처로 형식적으로 맵핑할 수 있는가?
• RQ4 혼돈적 반복 함수를 학습하도록 훈련한 MLP는 실제로 혼돈적으로 행동하는가?
• RQ5 MLP 아키텍처의 복잡성과 혼돈 네트워크 훈련의 어려움 사이의 관계는 무엇인가?

주요 결과

• f0,2(x1,x2,x3) = (¬x1,¬x2,¬x3)에 대해 훈련된 MLP는 단일층 아키텍처에서 10개의 은닉 뉴런을 사용할 경우 평균 73.44 에포크에 100% 성공률를 기록하였다.
• f1,1(x1,x2,x3) = (¬x1,x1,x2)에 대해 훈련된 MLP는 단일층 아키텍처에서 10개의 은닉 뉴런을 사용할 경우 평균 59.84 에포크에 100% 성공률를 기록하였다.
• 두 은닉층 아키텍처(8개 및 4개 뉴런)는 평균적으로 훨씬 더 많은 에포크를 요구하였으며, f0,2의 경우 203.68, f1,1의 경우 135.54에 이르렀다. 그러나 성공률는 각각 76%와 96%로 낮았다.
• g1(x1,x2,x3) = (¬x1,x2,x3) 기반의 네트워크는 비강한 연결 그래프로 인해 혼돈을 나타내지 못했으며, 이는 혼돈의 이론적 조건을 확인하는 데 성공하였다.
• 혼돈 네트워크의 훈련 과정은 일반적으로 비혼돈 대비 더 어려웠으며, 평균적으로 더 많은 에포크를 요구하였다. 이는 혼돈의 복잡성과 훈련의 어려움 사이의 연관성을 시사한다.
• 본 연구는 반복 함수의 그래프가 강하게 연결되어 있으면서도 필수적이고 충분한 조건임을 확인하였으며, 증명된 혼돈적 신경망을 구축하기 위한 검증 가능한 기준을 제공한다.