[논문 리뷰] D-optimal Bayesian Interrogation for Parameter and Noise Identification of Recurrent Neural Networks

Barnabás Póczos, András Lörincz|ArXiv.org|2008. 01. 12.

Fault Detection and Control Systems참고 문헌 14인용 수 3

한 줄 요약

이 논문은 순환 신경망(RNN)의 매개변수와 가감성 노이즈를 온라인으로 식별하기 위한 D-최적의 베이지안 조사 프레임워크를 제안한다. D-최적성(정보최대화) 원리를 적용하여 매개변수 추정과 노이즈 분산 추정에 대해 근사 없이 사전에 정의된 이차적 업데이트 규칙을 유도하며, 이는 두 작업에 대한 최적의 자극 간의 근본적인 불일치를 드러낸다.

ABSTRACT

We introduce a novel online Bayesian method for the identification of a family of noisy recurrent neural networks (RNNs). We develop Bayesian active learning technique in order to optimize the interrogating stimuli given past experiences. In particular, we consider the unknown parameters as stochastic variables and use the D-optimality principle, also known as `\emph{infomax method}', to choose optimal stimuli. We apply a greedy technique to maximize the information gain concerning network parameters at each time step. We also derive the D-optimal estimation of the additive noise that perturbs the dynamical system of the RNN. Our analytical results are approximation-free. The analytic derivation gives rise to attractive quadratic update rules.

연구 동기 및 목표

• 스토케스틱 순환 신경망의 매개변수와 노이즈를 식별하기 위한 온라인 베이지안 주도 학습 방법을 개발한다.
• 모르는 RNN 매개변수에 대한 정보 수익을 최대화하기 위해 실시간으로 조사 자극을 최적화한다.
• D-최적성 원리를 사용하여 RNN 동역학에서의 가감성 주행 노이즈 공분산을 추정한다.
• 매개변수 추정을 위한 최적의 자극이 노이즈 추정을 위한 최적의 자극인가를 조사한다.
• 모든 추정 작업에 대해 해석 가능한 근사 없이 사전에 정의된 학습 규칙을 유도한다.

제안 방법

• RNN 동역학을 가감성 i.i.d. 가우시안 노이즈를 갖는 비선형 스토케스틱 시스템으로 모델링한다.
• 공액 사전을 사용한 온라인 베이지안 추론을 적용: RNN 가중치는 행렬 노멀 분포, 노이즈 공분산은 역위샤르트 분포를 사용한다.
• D-최적성(정보최대화) 원리를 적용하여 사후 피셔 정보 매트릭스의 행렬식을 최대화하는 제어 입력을 선택한다.
• 매개변수 및 노이즈 공분산 추정에 대해 탐욕적이고 닫힌 형태의 이차적 업데이트 규칙을 도출한다.
• D-최적 탐색과 노이즈 전용 제어를 조합한 비탐욕적 히우리스틱 'τ-정보최대화 노이즈 조사' 기법을 제안한다.
• τ-정보최대화 접근법의 실용적 근사로 'τ-제로 조사' 기법을 도입한다.

실험 결과

연구 질문

• RQ1 D-최적의 베이지안 조사를 사용하여 RNN 매개변수와 주행 노이즈를 동시에 식별할 수 있는가?
• RQ2 매개변수 추정을 위한 최적의 제어 신호가 노이즈 분산 추정을 위한 최적의 신호인가?
• RQ3 이 RNN 모델에서 온라인 베이지안 학습에 대한 분석적으로 해석 가능한 근사 없는 업데이트 규칙은 무엇인가?
• RQ4 비탐욕적이고 다단계 사전 예측 전략은 노이즈 추정 성능을 향상시킬 수 있는가?
• RQ5 매개변수와 노이즈에 대한 D-최적 제어 규칙은 구조적·행동적으로 어떻게 다를까?

주요 결과

• 매개변수 추정을 위한 D-최적 제어는 사후 피셔 정보 매트릭스의 행렬식을 최대화하며, 이는 탐욕적이고 이차적 업데이트 규칙을 유도한다.
• 노이즈 추정을 위한 D-최적 제어는 동일한 행렬식 표현을 최소화하며, 이는 별개의 상호보완적인 이차적 업데이트 규칙을 초래한다.
• 매개변수 추정과 노이즈 추정을 위한 최적의 자극은 근본적으로 상충된다: 한 쪽에 대해 정보를 최대화하는 제어 신호는 다른 쪽에 대해 정보를 최소화한다.
• 제안된 τ-정보최대화 노이즈 조사 히우리스틱은 D-최적 탐색과 목표 지향적 노이즈 추정을 조합하여 RNN 계수와 노이즈 분산의 추정 오차를 감소시킨다.
• 큰 τ 값에서 τ-제로 조사 기법은 τ-정보최대화 기법의 좋은 근사로 작용하여 구현을 단순화한다.
• 모든 유도 과정이 근사 없이 이루어지며, 분석적으로 해석 가능한 이차적 업데이트 규칙을 도출하여 효율적인 온라인 학습을 가능하게 한다.