[논문 리뷰] Predictive Neural Networks

Frieder Stolzenburg, Olivia Michael외 1명|arXiv (Cornell University)|2018. 02. 09.

Model Reduction and Neural Networks참고 문헌 56인용 수 5

한 줄 요약

이 논문은 시간에 따라 변하는 함수를 선형 방정식계를 푸는 방식으로 근사함으로써 역전파가 필요 없도록 하는 선형 활성화를 갖는 순환 신경망 기반 예측 신경망을 소개한다. 이 방법은 동시에 가중치와 아키텍처를 학습하며, 최소한의 유닛으로 다중 초입파 오실레이터 및 로봇 축구 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recurrent neural networks are a powerful means to cope with time series. We show that already linearly activated recurrent neural networks can approximate any time-dependent function f(t) given by a number of function values. The approximation can effectively be learned by simply solving a linear equation system; no backpropagation or similar methods are needed. Furthermore the network size can be reduced by taking only the most relevant components of the network. Thus, in contrast to others, our approach not only learns network weights but also the network architecture. The networks have interesting properties: In the stationary case they end up in ellipse trajectories in the long run, and they allow the prediction of further values and compact representations of functions. We demonstrate this by several experiments, among them multiple superimposed oscillators (MSO) and robotic soccer. Predictive neural networks outperform the previous state-of-the-art for the MSO task with a minimal number of units.

연구 동기 및 목표

• 선형 활성화를 갖는 순환 신경망을 사용하여 임의의 시간에 따라 변하는 함수 f(t)를 근사하는 방법을 개발한다.
• 관측된 함수 값에서 유도된 선형 방정식계를 풀어 역전파가 필요 없도록 네트워크 학습을 공식화한다.
• 가장 관련성이 높은 구성 요소만 선택하여 네트워크 가중치와 아키텍처를 동시에 학습시킬 수 있도록 한다.
• 이 방법이 다중 초입파 오실레이터 및 로봇 축구와 같은 복잡한 시간 시리즈 작업에서 효과적인지 보여준다.
• 정적인 경우 타원 궤도와 같은 안정적이고 예측 가능한 역학적 행동을 보이며, 이를 통해 함수 표현을 압축할 수 있음을 보여준다.

제안 방법

• 네트워크는 시간 시리즈를 모델링하기 위해 선형 활성화를 갖는 순환 유닛을 사용하여 가중치 학습 문제를 해석적으로 해결할 수 있도록 한다.
• 관측된 함수 값에서 유도된 선형 방정식계를 풀어 네트워크 가중치를 학습하며, 이로 인해 역전파가 필요 없어진다.
• 함수 근사에 기여하는 바가 가장 큰 구성 요소들만 선택하여 네트워크 아키텍처를 정리한다.
• 선형 순환 네트워크가 지닌 본질적 안정성에 기반하여, 정적인 상태에서 타원형 궤도로 수렴함을 활용한다.
• 관측된 시간 포인트를 초월하여 학습된 역학을 외삽함으로써 함수 예측을 달성한다.
• 축소된 네트워크 아키텍처에서 유도된 압축된 함수 표현은 예측 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 이산적인 관측치가 주어졌을 때, 선형 활성화를 갖는 순환 네트워크는 어떤 시간에 따라 변하는 함수 f(t)를 근사할 수 있는가?
• RQ2 관측된 함수 값에서 유도된 선형 방정식계를 풀어 역전파 없이 네트워크를 훈련시킬 수 있는가?
• RQ3 네트워크 아키텍처를 가장 관련성 높은 구성 요소들만 유지하도록 자동으로 정리할 수 있는가?
• RQ4 장기적으로 안정적이고 예측 가능한 역학적 행동, 예를 들어 타원 궤도를 보일 수 있는가?
• RQ5 이러한 접근 방식은 다중 초입파 오실레이터(MSO) 및 로봇 축구와 같은 복잡한 시간 시리즈 작업에서 기존 최신 기술 수준의 방법을 뛰어넘을 수 있는가?

주요 결과

• 유한한 함수 값 집합이 주어지면 선형 활성화를 갖는 순환 네트워크는 어떤 시간에 따라 변하는 함수 f(t))를 근사할 수 있다.
• 선형 방정식계를 풀어 학습이 이루어지므로 역전파가 불필요하며, 훈련 복잡도가 크게 감소한다.
• 이 방법은 네트워크 가중치와 아키텍처를 동시에 학습시켜 예측 정확도는 유지하면서도 최소한의 네트워크 크기를 달성한다.
• 정적인 경우 네트워크 역학은 안정적인 타원 궤도로 수렴하며, 이는 시스템의 본질적 안정성을 나타낸다.
• 이전 방법보다 더 적은 유닛으로 다중 초입파 오실레이터(MSO) 작업에서 최신 기술 수준의 성능을 달성한다.
• 네트워크는 향후 함수 값의 정확한 예측을 지원하며, 시간 시리즈 함수의 압축되고 의미 있는 표현을 가능하게 한다.