[논문 리뷰] An improved LogNNet classifier for IoT application

Hanif Heidari, Andrei Velichko|arXiv (Cornell University)|2021. 05. 30.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 메모리 사용을 최소화하면서 MNIST-10 데이터셋에서 분류 정확도를 향상시키기 위해 반선형 헨온 유형의 혼돈 지도를 사용한 개선된 LogNNet 분류기 모델을 제안한다. 입자군집최적화(PSO)를 통해 무작위 이민자 기반으로 혼돈 지도의 파라미터를 최적화하고, 리저보어 기반 변환을 활용함으로써, 동일한 RAM 소비량을 유지하면서도 원래 LogNNet보다 높은 정확도를 달성한다. 이는 엔트로피와 분류 성능 사이에 직접적인 연관성이 있음을 보여준다.

ABSTRACT

In the age of neural networks and Internet of Things (IoT), the search for new neural network architectures capable of operating on devices with limited computing power and small memory size is becoming an urgent agenda. Designing suitable algorithms for IoT applications is an important task. The paper proposes a feed forward LogNNet neural network, which uses a semi-linear Henon type discrete chaotic map to classify MNIST-10 dataset. The model is composed of reservoir part and trainable classifier. The aim of the reservoir part is transforming the inputs to maximize the classification accuracy using a special matrix filing method and a time series generated by the chaotic map. The parameters of the chaotic map are optimized using particle swarm optimization with random immigrants. As a result, the proposed LogNNet/Henon classifier has higher accuracy and the same RAM usage, compared to the original version of LogNNet, and offers promising opportunities for implementation in IoT devices. In addition, a direct relation between the value of entropy and accuracy of the classification is demonstrated.

연구 동기 및 목표

• 제한된 메모리와 계산 능력을 가진 IoT 기기용 신경망 아키텍처를 설계하기 위해.
• RAM 사용량을 늘리지 않고도 원래 LogNNet 모델의 분류 정확도를 향상시키기 위해.
• 이미지 분류에 대한 리저보어 계산 성능 향상에 혼돈 역학이 미치는 영향을 탐구하기 위해.
• 혼돈 지도 엔트로피와 분류 정확도 사이의 정량적 관계를 수립하기 위해.

제안 방법

• 제안된 모델은 반선형 헨온 유형의 이산 혼돈 지도로 구성된 리저보어를 포함한 피드포워드 LogNNet 아키텍처를 사용한다.
• 입력 데이터는 혼돈 지도에서 생성된 시간 시리즈를 통해 변환되어 리저보어 층에서 특징 표현을 향상시킨다.
• 분류 성능를 극대화하기 위해 리저보어에 새로운 행렬 채우기 방법을 적용한다.
• 일반화 성능 향상을 위해 입자군집최적화(PSO)를 사용하여 혼돈 지도의 파라미터를 최적화한다. 이때 무작위 이민자 기반 최적화를 적용한다.
• 리저보어 출력은 최종 예측을 위한 학습 가능한 분류기로 전달된다.
• 정확도 및 엔트로피 지표를 사용하여 MNIST-10 데이터셋에서 모델의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 혼돈 리저보어 기반 신경망이 원래 LogNNet보다 더 높은 분류 정확도를 달성하면서도 낮은 메모리 사용을 유지할 수 있는가?
• RQ2 혼돈 지도의 엔트로피는 LogNNet 모델의 분류 정확도에 어떤 영향을 미치는가?
• RQ3 무작위 이민자 기반 입자군집최적화(PSO)는 혼돈 지도의 파라미터를 효과적으로 최적화하여 성능 향상에 기여하는가?
• RQ4 리저보어의 행렬 채우기 전략은 분류 결과에 어떤 영향을 미치는가?
• RQ5 제안된 LogNNet 변종은 저전력 IoT 기기에서의 배포에 적합한가?

주요 결과

• 개선된 LogNNet/헨온 분류기는 MNIST-10 데이터셋에서 원래 LogNNet보다 더 높은 분류 정확도를 달성한다.
• 모델은 원래 LogNNet과 동일한 RAM 사용량을 유지하므로 저자원 IoT 응용 분야에 적합하다.
• 혼돈 지도의 엔트로피와 분류 정확도 사이에 직접적인 양의 상관관계가 입증된다.
• 무작위 이민자 기반 입자군집최적화(PSO)는 혼돈 지도의 파라미터를 효과적으로 최적화하여 모델 성능을 향상시켰다.
• 리저보어의 행렬 채우기 전략은 향상된 특징 표현과 분류 정확도에 기여하는 데 중요한 역할을 했다.
• 모델의 성능은 MNIST-10 벤치마크에서 검증되었으며, 엣지-AI 배포 잠재력이 확인되었다.