[논문 리뷰] A Global Algorithm for Training Multilayer Neural Networks

Hong Zhao, Tao Jin|ArXiv.org|2006. 07. 06.

Neural Networks and Applications참고 문헌 1인용 수 4

한 줄 요약

이 논문은 다층 신경망을 훈련시키기 위한 몬테카를로 적응(MCA) 기반의 글로벌 학습 알고리즘을 제안한다. 이 알고리즘은 시냅스 가중치 유형(이산적 또는 연속적)이나 전달 함수의 미분 가능성에 제한이 없다. 입력 샘플에 의해 유도되는 국소 필드의 분포를 제어함으로써, 백프로파게이션보다 뛰어난 일반화 능력을 달성한다. 이는 선형적으로 분리되지 않는 분류 작업을 더 효율적이고 강건하게 해결할 수 있는 두 층 신경망을 통해 입증된다.

ABSTRACT

We present a global algorithm for training multilayer neural networks in this Letter. The algorithm is focused on controlling the local fields of neurons induced by the input of samples by random adaptations of the synaptic weights. Unlike the backpropagation algorithm, the networks may have discrete-state weights, and may apply either differentiable or nondifferentiable neural transfer functions. A two-layer network is trained as an example to separate a linearly inseparable set of samples into two categories, and its powerful generalization capacity is emphasized. The extension to more general cases is straightforward.

연구 동기 및 목표

• 백프로파게이션의 한계, 즉 연속적 시냅스 가중치와 미분 가능한 전달 함수에 대한 의존성을 해결하기 위해.
• 입력 샘플에 의해 유도되는 국소 필드의 통계적 분포(LFNIIS)를 제어함으로써 네트워크 성능을 최적화하는 글로벌 훈련 알고리즘을 개발하기 위해.
• 생물학적 타당성과 디지털 하드웨어의 실현 가능성을 반영한 이산적 시냅스 상태를 갖는 다층 네트워크의 훈련을 가능하게 하기 위해.
• 기본 백프로파게이션 네트워크보다 선형적으로 분리되지 않는 분류 작업에서 뛰어난 일반화 능력을 보여주기 위해.
• 단일 층, 다층, 다중 분류 문제에 적용 가능한 융통성 있는 프레임워크를 제공하기 위해.

제안 방법

• 알고리즘은 모든 층에서 입력 샘플에 의해 유도되는 국소 필드의 목표 분포(LFNIIS)를 제어하는 데 초점을 맞춘다.
• 랜덤한 시냅스 가중치 적응을 수행하고, 그 변화가 목표 LFNIIS 분포로부터의 분산을 통계적으로 감소시키는 경우에만 수락한다.
• 결정 기준은 목표 분포로의 한 방향 수렴을 보장하여 네트워크 행동의 안정적 진화를 보장한다.
• 전체 샘플에 걸쳐 글로벌 성능 향상 여부에 기반해 수용되는 몬테카를로 스타일의 시냅스 가중치 상태 탐색을 사용한다.
• 전이 함수와 가중치 상태가 각 층마다 별도로 정의된 두 층 네트워크에 알고리즘을 적용한다.
• 훈련은 반복적으로 수행되며, 랜덤 가중치를 선택하고, 이를 확률적으로 적응시키며, LFNIIS 분포 기준을 통해 글로벌 향상 여부를 평가한다.

실험 결과

연구 질문

• RQ1 백프로파게이션의 국소 최소값과 도함수 제약 조건을 피할 수 있는 글로벌 학습 규칙을 설계할 수 있는가?
• RQ2 이산적 시냅스 가중치가 다층 네트워크에서 일반화 능력과 훈련 효율성을 얼마나 향상시킬 수 있는가?
• RQ3 은닉층과 출력층에서 국소 필드의 분포를 제어할 경우 분류 성능에 어떤 영향을 미치는가?
• RQ4 알고리즘이 비연속적 전달 함수를 갖는 네트워크를 효과적으로 훈련시킬 수 있는가?
• RQ5 훈련 시간과 수렴 여부가 수용 기준의 선택과 파rameter 조정에 의해 결정되는가?

주요 결과

• MCA 기반 네트워크는 표준 백프로파게이션 네트워크보다 선형적으로 분리되지 않는 샘플을 훨씬 뛰어난 일반화 능력으로 정확하게 분류했다.
• 이산적 가중치(예: ±1, ±3)를 사용한 훈련은 연속적 또는 이진 가중치보다 선형적으로 분리 가능한 샘플의 최대 수를 증가시켰으며, 그림 3에서 이를 확인할 수 있다.
• 표준 백프로파게이션에 최적의 학습률을 적용한 경우 6시간이 소요되는 데 비해, MCA 기반 알고리즘은 개인용 컴퓨터에서 약 1시간의 계산 시간으로 $ t_{\nu}h_{\nu}^{(2)} \geq 30 $의 분류 임계치를 달성했다.
• 출력층 가중치를 고정하고 은닉층만 훈련시킴으로써 훈련 시간을 크게 단축시켰으며, 이는 출력층이 주로 결정 공간을 커버하기 위한 역할을 한다는 것을 시사한다.
• 훈련 과정은 기술적 세부 사항에 민감하다: $ n \geq 0 $ 를 $ n > 0 $ 로 변경하면 훈련 시간이 두 배로 증가했고, 상수 $ c $ 를 점진적으로 조정함으로써 훈련 시간을 크게 감소시킬 수 있었다.
• 수용 기준에 온도 파rameter를 도입함으로써 훈련 효율성이 복잡하고 비단조화적인 방식으로 영향을 받았으며, 이는 향후 최적화의 여지를 시사한다.