[논문 리뷰] Training Process Reduction Based On Potential Weights Linear Analysis To Accelarate Back Propagation Network

Roya Asadi, Norwati Mustapha외 1명|ArXiv.org|2009. 08. 11.

Neural Networks and Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 백프로파게이션 신경망(BPN)의 학습 속도를 향상시키기 위해 정규화, 차원 축소, 사전 훈련을 통합한 새로운 전처리 기법인 잠재 가중치 선형 분석(PWLA)을 제안한다. 사전 훈련 이후 잠재 가중치를 사용해 입력 차원을 감소시킴으로써, 감독형 다층 피드포워드 신경망(SMFFNN)이 반복 학습 사이클 없이 단일 에포크 내에 높은 정확도를 달성할 수 있게 되었으며, 이는 학습 시간을 크게 단축시키고 무작위 가중치 초기화로 인한 문제를 해결한다.

ABSTRACT

Learning is the important property of Back Propagation Network (BPN) and finding the suitable weights and thresholds during training in order to improve training time as well as achieve high accuracy. Currently, data pre-processing such as dimension reduction input values and pre-training are the contributing factors in developing efficient techniques for reducing training time with high accuracy and initialization of the weights is the important issue which is random and creates paradox, and leads to low accuracy with high training time. One good data preprocessing technique for accelerating BPN classification is dimension reduction technique but it has problem of missing data. In this paper, we study current pre-training techniques and new preprocessing technique called Potential Weight Linear Analysis (PWLA) which combines normalization, dimension reduction input values and pre-training. In PWLA, the first data preprocessing is performed for generating normalized input values and then applying them by pre-training technique in order to obtain the potential weights. After these phases, dimension of input values matrix will be reduced by using real potential weights. For experiment results XOR problem and three datasets, which are SPECT Heart, SPECTF Heart and Liver disorders (BUPA) will be evaluated. Our results, however, will show that the new technique of PWLA will change BPN to new Supervised Multi Layer Feed Forward Neural Network (SMFFNN) model with high accuracy in one epoch without training cycle. Also PWLA will be able to have power of non linear supervised and unsupervised dimension reduction property for applying by other supervised multi layer feed forward neural network model in future work.

연구 동기 및 목표

• 백프로파게이션 네트워크(BPN)에서 무작위 가중치 초기화로 인한 비효율성과 불안정성을 해결하고자 하며, 이는 높은 학습 시간과 낮은 정확도를 초래한다.
• 정규화, 차원 축소, 사전 훈련과 같은 데이터 전처리 기법을 통합한 프레임워크를 통해 BPN의 학습 시간을 단축시키고자 한다.
• BPN이 반복적 백프로파게이션 없이 단일 학습 에포크 내에 수렴하도록 하는 방법을 개발하고자 한다.
• 감독형 및 비감독형 차원 축소 기능을 모두 갖춘 전처리 기법을 개발하여 피드포워드 신경망에 광범위하게 적용 가능하도록 하고자 한다.

제안 방법

• 처리 전에 특성 척도를 표준화하기 위해 입력 데이터에 정규화를 적용한다.
• 정규화된 데이터를 사용해 네트워크의 초기 잠재 가중치를 계산하기 위해 사전 훈련을 수행한다.
• 계산된 잠재 가중치를 사용해 입력 데이터 행렬의 차원 축소를 이끌어낸다.
• 가장 중요한 잠재 가중치가 정의하는 부분공간에 데이터를 투영함으로써 입력 특성 공간을 축소한다.
• 축소되고 사전 처리된 입력 데이터를 사용해 최종 감독형 다층 피드포워드 신경망(SMFFNN)을 훈련시킨다.
• 반복적 백프로파게이션 없이도 훈련된 SMFFNN 모델을 적용하여 단일 에포크 내에 수렴한다.

실험 결과

연구 질문

• RQ1 정규화, 사전 훈련, 차원 축소를 통합한 단일 전처리 프레임워크가 BPN 학습 시간을 크게 단축시킬 수 있는가?
• RQ2 사전 훈련에서 유도된 잠재 가중치를 사용하면 분류 정확도를 유지하면서 효과적인 차원 축소가 가능한가?
• RQ3 제안된 PWLA 방법을 사용해 훈련된 BPN이 반복적 백프로파게이션 없이 즉, 단일 에포크 내에 높은 정확도를 달성할 수 있는가?
• RQ4 기본 데이터셋에서 PWLA는 전통적인 BPN 학습 방식에 비해 수렴 속도와 정확도 측면에서 어느 정도 뛰어난가?
• RQ5 PWLA 프레임워크는 감독형 및 비감독형 학습 특성을 모두 갖춘 다른 감독형 피드포워드 신경망 모델로 확장 가능한가?

주요 결과

• 제안된 PWLA 방법은 표준 백프로파게이션 네트워크를 감독형 다층 피드포워드 신경망(SMFFNN)으로 변환하여 단일 에포크 내에 높은 정확도를 달성하는 데 성공했다.
• XOR 문제는 PWLA 전처리 데이터를 사용해 단일 에포크 내에 100% 정확도로 해결되었으며, 이는 빠른 수렴을 보여주었다.
• SPECT Heart, SPECTF Heart, BUPA Liver Disorders 데이터셋에서 PWLA는 최소 또는 전혀 반복 학습이 필요 없이 높은 분류 정확도를 달성했다.
• 감독형 및 비감독형 차원 축소를 효과적으로 통합하여 정보 손실이 크지 않은 효율적인 특성 공간 압축을 가능하게 하였다.
• 무작위 가중치 초기화를 사전 훈련된 잠재 가중치로 대체함으로써, 기존 BPN 학습 방식에서 발생하는 불안정성과 느린 수렴 문제를 제거하였다.
• 결과적으로 PWLA는 기존 학습 방식에 비해 실용적인 대안이 되며, 학습 시간을 크게 단축시키면서도 정확도를 유지하거나 향상시킬 수 있음을 시사한다.