[논문 리뷰] A Tutorial about Random Neural Networks in Supervised Learning

Sebastián Basterrech, Gerardo Rubino|arXiv (Cornell University)|2016. 09. 15.

Neural Networks and Reservoir Computing참고 문헌 22인용 수 12

한 줄 요약

이 튜토리얼은 큐잉 이론과 신경망을 연결하는 강력한 프레임워크로 Random Neural Networks(RNNs)를 제시한다. RNN 학습을 위한 일계 및 이계 최적화 방법—예를 들어 경사 하강법, 준-뉴턴법, 레벤버그-마르카르트 방법—를 상세히 설명하며, 패턴 인식, 이미지 처리, 조합 최적화 분야에서 수렴 속도와 강건성 측면에서의 경험적 우수성을 입증한다.

ABSTRACT

Random Neural Networks (RNNs) are a class of Neural Networks (NNs) that can also be seen as a specific type of queuing network. They have been successfully used in several domains during the last 25 years, as queuing networks to analyze the performance of resource sharing in many engineering areas, as learning tools and in combinatorial optimization, where they are seen as neural systems, and also as models of neurological aspects of living beings. In this article we focus on their learning capabilities, and more specifically, we present a practical guide for using the RNN to solve supervised learning problems. We give a general description of these models using almost indistinctly the terminology of Queuing Theory and the neural one. We present the standard learning procedures used by RNNs, adapted from similar well-established improvements in the standard NN field. We describe in particular a set of learning algorithms covering techniques based on the use of first order and, then, of second order derivatives. We also discuss some issues related to these objects and present new perspectives about their use in supervised learning problems. The tutorial describes their most relevant applications, and also provides a large bibliography.

연구 동기 및 목표

• 감독 학습 문제에 Random Neural Networks(RNNs)를 적용하는 데 있어 종합적이고 접근하기 쉬운 튜토리얼을 제공하는 것.
• RNN 모델링에서 큐잉 이론과 신경망 프레임워크 사이의 개념적 격차를 메우는 것.
• RNN 학습을 위한 일계 최적화 알고리즘(예: 경사 하강법)과 이계 최적화 알고리즘(예: 준-뉴턴법, 레벤버그-마르카르트 방법)을 제시하고 비교하는 것.
• 특히 순환 구조와 안정성 문제에 관해 RNN 학습의 열린 연구 과제를 규명하는 것.
• RNN 기반 학습 시스템에서 고급 최적화 기법과 대체 오차 측정 기준의 탐색을 장려하는 것.

제안 방법

• 노드가 양성 및 음성 신호를 처리하고, 포isson 분포에 따라 발생하는 스파이크 도착을 통해 상태를 갱신하는 PDP(병렬 분산 처리) 시스템의 일종으로 RNN을 모델링한다.
• 신호 도착(흥장성/억제성)이 포isson 과정을 따르며, 노드 상태가 확률적으로 변화하는 스토케스틱 큐잉 네트워크로 RNN을 수식화한다.
• 주로 제곱오차의 합을 사용하는 표준 감독 학습 비용 함수를 적용하여, 기울기 기반 최적화를 통해 RNN을 학습시킨다.
• 안정성과 수렴성에 주의를 기울이며, 경사 하강법 및 그 변종을 사용한 일계 최적화 방법을 구현한다.
• 수렴 속도와 정확도 향상을 위해 준-뉴턴법과 레벤버그-마르카르트 방법과 같은 이계 방법을 RNN 학습에 적응시킨다.
• 직관적인 이해를 위해 신경망 용어와 큐잉 이론 개념을 번갈아 사용하는 통합 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 표준 최적화 기법을 사용하여 Random Neural Networks가 감독 학습 과제에 효과적으로 적응될 수 있는 방법은 무엇인가?
• RQ2 RNN 학습에서 일계 최적화 방법과 이계 최적화 방법 간의 상대적 장점과 한계는 무엇인가?
• RQ3 소멸 또는 폭발하는 기울기 현상이 순환 구조를 가진 RNN에 미치는 영향은 어느 정도이며, 기존 신경망과 비교해 볼 때 어떻게 다를 수 있는가?
• RQ4 Kullback-Leibler 발산과 같은 대체 오차 측정 기준이 RNN 기반 학습 시스템의 분류 성능 향상에 기여할 수 있는가?
• RQ5 Hessian-free 또는 곡률 기반 방법과 같은 고급 최적화 알고리즘이 RNN 프레임워크 내에서 잠재적인 이점을 가져올 수 있는가?

주요 결과

• 일부 대수적 조건 하에서 RNN은 보편 근사기로 작용하며, 감독 학습에서 복잡한 입력-출력 관계를 모델링할 수 있다.
• 레벤버그-마르카르트와 같은 이계 최적화 방법은 수렴 속도 측면에서 경사 하강법을 크게 능가하지만, 강건성 문제에 직면할 수 있다.
• 준-뉴턴 방법은 대부분의 시험 환경에서 일계 방법보다 더 빠른 수렴 속도를 보이며, 속도와 안정성 사이의 유리한 균형을 제공한다.
• RNN 모델은 SAT 문제와 최소 스티너 나무 문제와 같은 NP-완전 문제를 성공적으로 해결하여 조합 최적화 분야에서의 계산 능력을 입증했다.
• 강력한 경험적 성능에도 불구하고, 순환 RNN에서의 소멸/폭발 기울기 현상에 대한 체계적 분석이 RNN 문헌에서 부족한 점은 핵심 연구 격차를 드러낸다.
• 최근 GPU 병렬 아키텍처를 활용한 RNN의 구현에서 경사 하강법을 사용한 결과는 유망한 성과를 보였으며, 이는 병렬 환경에서의 이계 최적화 방법 적용이 향후 연구에 있어 여전히 열려 있고 가치 있는 방향임을 시사한다.