[논문 리뷰] Learning to segment temporal sequences by mixture of RNN experts with adaptive variance model

Jun Namikawa, Jun Tani|arXiv (Cornell University)|2007. 06. 09.

Neural Networks and Applications인용 수 1

한 줄 요약

이 논문은 비정상적인 분산을 가진 복잡한 시간적 시퀀스 생성을 향상시키기 위해 적응형 분산을 갖춘 RNN 전문가 모델의 혼합을 제안한다. 기존의 가능도 함수를 수정한 경사 하강법을 사용하여 전문가의 분산을 조정한다. 이 방법은 기존 방법이 실패하는 9개의 리사주 곡선 간의 복잡한 마르코프 전환을 성공적으로 학습하며, 실세계의 감각운동 시퀀스 예측에 있어서 뛰어난 일반화 능력과 적용 가능성을 보여준다.

ABSTRACT

This paper proposes a novel learning method for a mixture of recurrent neural network (RNN) experts model, which can acquire the ability to generate desired sequences by dynamically switching between experts. Our method is based on maximum likelihood estimation, using a gradient descent algorithm. This approach is similar to that used in conventional methods; however, we modify the likelihood function by adding a mechanism to alter the variance for each expert. The proposed method is demonstrated to successfully learn Markov chain switching among a set of 9 Lissajous curves, for which the conventional method fails. The learning performance, analyzed in terms of the generalization capability, of the proposed method is also shown to be superior to that of the conventional method. With the addition of a gating network, the proposed method is successfully applied to the learning of sensory-motor flows for a small humanoid robot as a realistic problem of time series prediction and generation.

연구 동기 및 목표

• 비균일한 분산을 가진 복잡한 시간적 동역학을 학습하는 데 있어 기존 혼합 RNN 전문가 모델의 한계를 해결하기 위해.
• 학습 중 전문가의 분산을 동적으로 조정하여 시퀀스 생성의 일반화 능력을 향상시키기 위해.
• 리사주 곡선과 같은 합성 시퀀스에서 마르코프 전환 행동을 효과적으로 모델링하기 위해.
• 인간형 로봇의 감각운동 흐름 학습과 같은 실세계 시간 시리즈 예측 과제로 이 방법을 확장하기 위해.
• 적응형 분산 메커니즘이 고정 분산 전문가 모델에 비해 합성 및 실세계 환경 모두에서 우수한 성능을 보이는지 확인하기 위해.

제안 방법

• 모델은 각 전문가별로 적응형 분산 메커니즘을 도입하여 표준 가능도 함수를 수정함으로써, 학습 중 각 전문가가 출력 불확실성을 조정할 수 있도록 한다.
• 수정된 가능도 함수를 최적화하기 위해 경사 하강법을 사용하여 전문가 혼합 모델의 엔드 투 엔드 학습을 가능하게 한다.
• 모델의 각 전문가는 은닉 상태의 동역학에 기반하여 시퀀스를 생성하는 순환 신경망이다.
• 게이팅 네트워크를 통합하여 각 시점에서 가장 적절한 전문가를 동적으로 선택함으로써 맥락 기반 전환을 가능하게 한다.
• 적응형 분산 메커니즘은 전문가들이 시퀀스 공간의 서로 다른 영역에서 다양한 신뢰 수준으로 전문화되도록 허용한다.
• 모델은 최대 가능도 추정을 사용하여 훈련되며, 분산 파rameter는 전문가 및 게이팅 네트워크와 함께 함께 학습된다.

실험 결과

연구 질문

• RQ1 적응형 분산 메커니즘이 고정 분산 모델에 비해 복잡한 시간적 시퀀스 학습에 있어 성능을 향상시키는가?
• RQ2 제안된 방법은 기존 방법이 실패하는 9개의 리사주 곡선 간 마르코프 전환을 어떻게 모델링하는가?
• RQ3 적응형 분산 모델은 기존 혼합 모델에 비해 얼마나 더 잘 일반화되는가?
• RQ4 모델은 인간형 로봇의 현실적인 감각운동 시퀀스를 효과적으로 학습하고 생성할 수 있는가?
• RQ5 게이팅 네트워크와 분산 적응이 시퀀스 생성 품질과 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 기존 혼합 RNN 전문가 모델이 고정된 분산 제약으로 실패하는 9개의 리사주 곡선 간 마르코프 전환을 성공적으로 학습하였다.
• 비교적 더 나은 성능을 보인 시험 시퀀스를 통해, 모델은 기존 방법에 비해 뛰어난 일반화 능력을 보였다.
• 적응형 분산의 추가로 다양한 신뢰 수준에서 다양하고 복잡한 시간적 동역학을 포착할 수 있는 능력이 크게 향상되었다.
• 게이팅 네트워크의 통합으로 전문가 간 효과적인 동적 전환이 가능해져 시퀀스 생성 정확도가 향상되었다.
• 모델은 소형 인간형 로봇의 감각운동 흐름 학습에 성공적으로 적용되어 실세계 시간 시리즈 예측 과제에 대한 실현 가능성을 입증하였다.
• 결과는 분산 적응이 특히 복잡하고 비정상적인 환경에서 더 강력하고 민첩한 시퀀스 모델링을 가능하게 한다는 것을 확인한다.