[논문 리뷰] Neural network design for J function approximation in dynamic programming

Xiaohui Pang, Paul J. Werbos|arXiv (Cornell University)|1998. 06. 03.

Neural Networks and Applications참고 문헌 9인용 수 58

한 줄 요약

이 논문은 복잡한 미로 탐색과 같은 비스무스 J 함수를 근사하는 데 어려움을 겪는 약간의 동적 프로그래밍(ADP) 문제를 해결하기 위해 새로운 신경망 아키텍처인 동시 순환 네트워크(SRN)를 소개한다. 기존의 다층 퍼셉트론(MLP)과 달리, SRN은 순환 동역학과 세포 구조를 활용하여 복잡하고 비스무스 환경에서도 최적 경로를 성공적으로 학습하며, MLP(5×10⁻⁴)에 비해 훨씬 낮은 근사 오차(1.25×10⁻⁴)를 달성한다.

ABSTRACT

This paper shows that a new type of artificial neural network (ANN) -- the Simultaneous Recurrent Network (SRN) -- can, if properly trained, solve a difficult function approximation problem which conventional ANNs -- either feedforward or Hebbian -- cannot. This problem, the problem of generalized maze navigation, is typical of problems which arise in building true intelligent control systems using neural networks. (Such systems are discussed in the chapter by Werbos in K.Pribram, Brain and Values, Erlbaum 1998.) The paper provides a general review of other types of recurrent networks and alternative training techniques, including a flowchart of the Error Critic training design, arguable the only plausible approach to explain how the brain adapts time-lagged recurrent systems in real-time. The C code of the test is appended. As in the first tests of backprop, the training here was slow, but there are ways to do better after more experience using this type of network.

연구 동기 및 목표

• 지능형 제어에 필수적인 약간의 동적 프로그래밍(ADP)을 위한 비스무스 함수를 근사할 수 있는 신경망 아키텍처를 개발하는 것.
• 동적 프로그래밍의 J 함수와 같은 복잡하고 비스무스 함수를 학습하는 데 있어 기존의 다층 퍼셉트론(MLP)의 한계를 해결하는 것.
• 특히 동시 순환 네트워크(SRN)와 같은 순환 네트워크가 사전에 각 개별 미로에 대해 훈련되지 않은 상태에서도 어려운 함수 근사 문제, 예를 들어 미로 탐색을 해결하는 데 효과적인지 입증하는 것.
• 수렴 안정성과 국소 최소값 문제를 개선하기 위해 백트래킹 훈련(BTT)과 적응형 학습률과 같은 실용적인 훈련 기법을 탐색하는 것.
• 합성 문제(Net A/Net B)와 실제 세계 문제(미로 탐색)에서 SRN이 MLP보다 뛰어난 성능을 보임을 검증하는 것.

제안 방법

• 피드백 연결을 갖춘 순환 신경망의 일종인 동시 순환 네트워크(SRN)를 사용하여 동적 프로그래밍의 J 함수를 모델링한다.
• 세포 구조를 설계하여 미로 문제의 공간적 관계를 통합함으로써, 국소 상호작용을 통해 전역 경로 최적화를 학습할 수 있도록 한다.
• 비스무스 함수 훈련 중의 수렴성 향상과 국소 최소값 회피를 위해 백트래킹 훈련(BTT)과 적응형 학습률을 적용한다.
• 전체 및 부분 시퀀스 역전파 간 성능 차이를 평가하기 위해, 절삭된 시간을 통한 역전파(트렁케이션)를 기준선으로 사용한다.
• 모든 미로 셀에서 예측된 값과 실제 동적 프로그래밍 해법 간 오차를 최소화함으로써 SRN이 J 함수를 근사하도록 훈련한다.
• SRN과 MLP의 성능을 비교하기 위해 동일한 네트워크 아키텍처(입력 9개, 3개의 은닉층 각 3개의 뉴런, 출력 3개)를 사용하여 네트워크 유형의 영향을 고립한다.

실험 결과

연구 질문

• RQ1 동시 순환 네트워크(SRN)는 특히 미로 탐색과 같은 복잡한 제어 작업에서 비스무스 J 함수를 효과적으로 근사할 수 있는가?
• RQ2 SRN의 성능는 비스무스 문제와 스무스 문제 양쪽에서 다층 퍼셉트론(MLP)에 비해 J 함수 근사에 얼마나 뛰어나게 나타나는가?
• RQ3 SRN을 비스무스 함수에 훈련할 때 안정적이고 정확한 수렴을 달성하기 위해 필요한 훈련 기법은 무엇인가? (예: 백트래킹 훈련(BTT), 적응형 학습률)
• RQ4 세포 구조 네트워크 설계는 SRN이 미로와 같은 공간적으로 구조화된 문제에 일반화하는 능력을 향상시킬 수 있는가?
• RQ5 SRN은 피드포워드 네트워크인 MLP가 표현할 수 없는 반복 알고리즘을 어느 정도 학습할 수 있는가?

주요 결과

• 백트래킹 훈련(BTT)과 적응형 학습률을 사용해 훈련된 SRN은 미로 문제의 J 함수에서 최종 근사 오차 1.25×10⁻⁴를 달성했으며, 이는 MLP의 5×10⁻⁴ 오차보다 뚜렷이 낮다.
• BTT로 훈련된 SRN은 시작점에서 목표 지점까지의 최적 경로를 성공적으로 근사했으며, 오차가 너무 작아 최적 방향으로 이동하는 데 영향을 주지 않았다.
• 트렁케이션으로 훈련된 SRN은 시각적 비교와 오차 곡선을 통해 J 함수를 효과적으로 근사하지 못했고, 반면 BTT로 훈련된 SRN은 빠르고 안정적인 수렴을 보였다.
• Net A/Net B 문제에서 SRN은 목표 함수 학습에서 MLP를 능가했으며, 더 빠른 수렴 속도와 더 낮은 오차를 기록하여 비스무스 함수에 대한 더 뛰어난 근사 능력을 보였다.
• MLP는 약 80개의 훈련 시행 이후 오차 향상이 없었으며, 이는 비스무스 문제에서 수렴이 잘 되지 않는다는 것을 시사한다. 반면 BTT를 사용한 SRN은 계속해서 개선되었다.
• 세포 구조 설계는 미로 문제 해결에 필수적이었으며, MLP나 트렁케이션된 SRN은 성공적인 경로 탐색을 달성하지 못했다. 이는 공간적으로 구조화된 비스무스 작업을 다룰 때 아키텍처 혁신의 중요성을 보여준다.