[논문 리뷰] Evolino for recurrent support vector machines

Jürgen Schmidhuber, Matteo Gagliolo외 2명|ArXiv.org|2005. 12. 15.

Neural Networks and Reservoir Computing참고 문헌 32인용 수 22

한 줄 요약

이 논문은 장기적인 시간적 의존성을 학습할 수 있는 진정으로 순차적이고 커널 적응형 모델을 만들기 위해 순환 신경망(RNN)과 서포트 벡터 머신(SVM)을 결합한 새로운 진화 알고리즘인 Evoke를 소개한다. LSTM 기반 RNN을 입력을 전처리하기 위해 진화시키고, 최적의 출력 예측을 위해 이차 프rogramming을 사용하는 SVM을 적용함으로써, Evoke는 G-LSTM와 ESN과 같은 기울기 기반 RNN보다도 문맥에 민감한 언어와 다중 중첩 정현파를 포함한 과제에서 뛰어난 성능을 보인다.

ABSTRACT

Traditional Support Vector Machines (SVMs) need pre-wired finite time windows to predict and classify time series. They do not have an internal state necessary to deal with sequences involving arbitrary long-term dependencies. Here we introduce a new class of recurrent, truly sequential SVM-like devices with internal adaptive states, trained by a novel method called EVOlution of systems with KErnel-based outputs (Evoke), an instance of the recent Evolino class of methods. Evoke evolves recurrent neural networks to detect and represent temporal dependencies while using quadratic programming/support vector regression to produce precise outputs. Evoke is the first SVM-based mechanism learning to classify a context-sensitive language. It also outperforms recent state-of-the-art gradient-based recurrent neural networks (RNNs) on various time series prediction tasks.

연구 동기 및 목표

• 기존 SVM이 임의의 장기적 의존성을 가진 시퀀스를 처리하는 데에 기본적인 한계를 해결하기 위해.
• 문맥에 민감한 시퀀스 과제를 위한 내부 상태 표현을 학습할 수 있는 순환 SVM 유사 모델을 개발하기 위해.
• 기울기 기반 RNN과 ESN이 실패하거나 성능이 열 劣하는 경우에 복잡한 시계열 예측 과제의 일반화와 성능을 향상시키기 위해.
• 신경진화와 분석적 SVM 최적화를 결합한 하이브리드 모델 훈련을 위한 진화 계산의 활용을 탐색하기 위해.
• 커널 기반 출력 레이어가 표준 SVM이 해결할 수 없는 문제, 예를 들어 $a^n b^n c^n$ 언어 인식 과제와 같이 비가역적인 문제를 해결할 수 있도록 하는 것을 보여주기 위해.

제안 방법

• Evoke는 이중 단계 아키텍처를 사용한다: 진화하는 순환 신경망(특히 LSTM)이 순차적 입력을 처리하고 은닉 표현을 생성한다.
• RNN의 은닉 상태는 최대 마진 기준을 통해 최적의 출력 가중치를 계산하기 위해 이차 프로그래밍을 사용하는 서포트 벡터 머신(SVM)에 입력된다.
• RNN는 훈련 및 검증 오차의 조합에 의해 결정되는 적합도를 기반으로 ESP(인구를 동반한 진화 전략) 알고리즘을 사용해 진화된다.
• SVM 구성 요소는 고정된 초모수를 가진 가우시안 커널을 사용하여 입력 시퀀스를 고차원 공간으로 매핑함으로써 비선형 결정 경계를 만들 수 있도록 한다(표준 편차 2.0, 용량 100.0 또는 10.0, 과제에 따라 다름).
• 50세대에 걸쳐 진화가 수행되며, 코시 분포를 따르는 변이와 버스트 변이를 사용하고, 과적합을 방지하기 위해 훈련 오차와 검증 오차를 조합한 적합도 함수를 사용한다.
• 이 방법은 신경진화와 분석적 선형 출력 모델을 결합한 더 넓은 Evolino 프레임워크의 특수한 사례이며, 여기서는 편미분 역행 회귀 대신 SVM을 사용하도록 적응시켰다.

실험 결과

연구 질문

• RQ1 순환 SVM 유사 모델은 순차적 데이터에서 임의의 장기적 의존성을 포착하는 내부 표현을 학습할 수 있는가?
• RQ2 진화 RNN과 SVM의 통합이 G-LSTM과 같은 기울기 기반 RNN보다 문맥에 민감한 문법 과제에서 더 나은 성능을 내는가?
• RQ3 Evoke는 다중 중첩 정현파를 포함한 시계열, 즉 ESN이 실패하는 과제에서 성공적으로 학습하고 일반화할 수 있는가?
• RQ4 이차 프로그래밍을 사용하는 SVM 기반 출력 레이어가 순차적 학습에서 편미분 역행 회귀 기반 방법보다 더 나은 일반화 성능을 보이는가?
• RQ5 커널 적응형 모델의 적합도 지형은 간단한 회귀 기반 모델에 비해 진화적 탐색 효율성에 어떤 영향을 미치는가?

주요 결과

• Evoke는 $n=10$ 및 $n=20$일 때 $a^n b^n c^n$ 언어를 성공적으로 분류하며, 훈련 세트를 초월한 일반화를 보였고, 이는 표준 SVM으로서는 불가능한 과제이다.
• $a^n b^n c^n$ 과제에서 Evoke는 G-LSTM보다 더 나은 일반화 성능을 보였지만, $n$이 더 커지면서 성능이 저하되었고, 이 경우 PI-Evolino와 G-LSTM가 Evoke를 앞서기 시작했다.
• 이중 중첩 정현파 과제($\sin(0.2x) + \sin(0.311x)$)에서 Evoke는 300개 지점에 대해 평균 테스트 오차 0.021을 기록했으며, ESN을 능가하고 G-LSTM보다 빠른 수렴 속도를 보였다.
• 성공에도 불구하고 Evoke의 성능는 편미분 역행 회귀 기반 Evolino(PI-Evolino)보다 열 劣했으며, 같은 정현파 과제에서 테스트 오차 0.003을 기록했다. 이는 커널 매핑으로 인해 더 높은 난이도의 적합도 지형이 존재하기 때문으로 보인다.
• Evoke는 $a^n b^n c^n$ 문법과 같이 관련 사건 간의 장시간 지연이 있는 과제에서 잘 일반화되며, 복잡한 시간 의존성을 학습할 수 있음을 보여준다.
• Evoke는 평균적으로 3GHz 데스크톱에서 한 시뮬레이션당 약 6분 내외로 실행되어 하이브리드 모델의 진화적 훈련에 대해 합리적인 계산 효율성을 보인다.