[논문 리뷰] Recurrent Exponential-Family Harmoniums without Backprop-Through-Time

Joseph G. Makin, Ben Dichter외 1명|arXiv (Cornell University)|2016. 05. 19.

Music Technology and Sound Studies참고 문헌 11인용 수 6

한 줄 요약

이 논문은 시간적 데이터에서 역전파를 통한 시간 역행(BPTT)이 필요 없이 최적의 추론을 가능하게 하는 새로운 학습 절차를 기반으로 한 순환 지수족 하모니엄(rEFH)을 제안한다. 이 절차는 정보 유지 및 모델 식별성에 기반한다. 이 방법은 선형 동적 시스템과 포아송 스파이크 관측값을 가진 합성 시계열 데이터에서 최신 기술 수준의 필터링 성능를 달성하며, TRBM을 능가하고 RTRBM와 유사한 성능를 보인다. 이는 더 단순한 학습 알고리즘을 사용함에도 불구하고 성과를 낸다.

ABSTRACT

Exponential-family harmoniums (EFHs), which extend restricted Boltzmann machines (RBMs) from Bernoulli random variables to other exponential families (Welling et al., 2005), are generative models that can be trained with unsupervised-learning techniques, like contrastive divergence (Hinton et al. 2006; Hinton, 2002), as density estimators for static data. Methods for extending RBMs--and likewise EFHs--to data with temporal dependencies have been proposed previously (Sutskever and Hinton, 2007; Sutskever et al., 2009), the learning procedure being validated by qualitative assessment of the generative model. Here we propose and justify, from a very different perspective, an alternative training procedure, proving sufficient conditions for optimal inference under that procedure. The resulting algorithm can be learned with only forward passes through the data--backprop-through-time is not required, as in previous approaches. The proof exploits a recent result about information retention in density estimators (Makin and Sabes, 2015), and applies it to a "recurrent EFH" (rEFH) by induction. Finally, we demonstrate optimality by simulation, testing the rEFH: (1) as a filter on training data generated with a linear dynamical system, the position of which is noisily reported by a population of "neurons" with Poisson-distributed spike counts; and (2) with the qualitative experiments proposed by Sutskever et al. (2009).

연구 동기 및 목표

• 역전파를 통한 시간 역행(BPTT)이 필요 없이 시간적 데이터에서 최적의 추론을 가능하게 하는 순환 지수족 하모니엄(rEFH)을 위한 학습 절차를 개발하는 것.
• 밀도 추정기에서의 정보 유지 및 모델 식별성에 기반하여 rEFH에서 최적의 추론을 위한 충분한 조건을 설정하는 것.
• 모델의 동역학에 대한 알려진 매개수 모델을 가정하지 않고도, 숨겨진 상태에 대한 압축된 충분통계량(즉, 칼만 필터의 모멘트와 동치)을 rEFH가 학습할 수 있음을 보여주는 것.
• 진짜 사후분포가 해석적으로 계산 가능한 합성 데이터에서 rEFH를 TRBM 및 RTRBM와 실증적으로 비교하여, 필터링 및 생성 성능를 평가하는 것.
• 반대로 생성(샘플링)이 rEFH에서는 간단한 반면, TRBM 및 RTRBM는 복잡한 반복적 샘플링 절차가 필요한데, 이에 대해 rEFH의 성능를 비교하는 것.

제안 방법

• rEFH는 이전 시간 단계의 은닉 유닛 평균을 입력 표현의 일부로 사용함으로써 지수족 하모니엄(EFHs)을 확장하여 순환 연결을 도입한다.
• 밀도 추정기에서의 정보 유지 이론적 결과(Makin & Sabes, 2015)를 활용하여, 데이터를 통과하는 정방향 전파만을 사용하고 BPTT를 피하는 학습 절차를 구현한다.
• 모델 식별성이 가정되어, 학습된 rEFH의 은닉 유닛 평균이 진짜 숨겨진 상태에 대한 충분통계량을 인코딩함으로써 최적의 필터링이 가능하다.
• 각 입력 벡터가 현재 관측값과 이전 은닉 유닛 평균을 포함하는 시퀀스에서, 대비 분산 또는 유사한 비지도 학습 기법을 사용해 모델을 학습한다.
• 추론은 현재 관측값과 이전 상태로부터 은닉 유닛 평균을 계산한 후, 재구성된 감각 유닛에 대해 중심점 계산을 통해 상태 추정치를 복원함으로써 수행된다.
• 생성은 rEFH를 역방향으로 샘플링하여 수행되며, 가중치 행렬과 비선형성을 사용해 은닉 상태에서 가시 상태로 전파함으로써 효율적인 궤적 샘플링이 가능하다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 순환 EFH가 시간 역행(BPTT)이 없이도 시계열 데이터에서 최적의 추론을 제공할 수 있는가?
• RQ2 기본 동역학이 알려져 있거나 비선형인 경우, rEFH가 진짜 숨겨진 상태에 대한 충분통계량(칼만 필터의 모멘트와 동치)을 학습할 수 있는가?
• RQ3 rEFH와 유사한 아키텍처를 가진 TRBM 및 RTRBM에서는 왜 제안된 학습 절차가 최적성을 달성하지 못하는가?
• RQ4 진짜 사후분포가 알려진 합성 데이터에서 rEFH는 TRBM 및 RTRBM에 비해 필터링 과제에서 어떻게 성능를 보이는가?
• RQ5 rEFH에서는 역방향 생성(모델에서 샘플링)이 가능하고 효율적인가? TRBM 및 RTRBM와 비교해보면 어떻게 되는가?

주요 결과

• rEFH는 포아송 스파이크 관측값을 가진 선형 동적 시스템에서 생성된 합성 데이터에서 최적의 필터링 성능를 달성하며, 진짜 칼만 필터 성능와 동일하다.
• rEFH는 BPTT를 피하는 더 단순한 학습 알고리즘을 사용하고도 TRBM을 능가하고 RTRBM와 경쟁 가능한 성능를 보인다.
• rEFH는 반대로 생성된 샘플 궤적을 효율적으로 생성할 수 있으며, 이는 TRBM 및 RTRBM가 복잡한 반복적 샘플링 절차가 필요한 것과 대조된다.
• 학습된 rEFH의 은닉 유닛 평균은 진짜 숨겨진 상태에 대한 충분통계량을 인코딩함을 확인하였으며, 이는 과거 관측값에 대한 압축된 최적의 요약을 학습한다는 것을 뜻한다.
• 이론적 근거는 모델 식별성과 정보 유지에 기반하며, rEFH가 알려진 매개수 모델을 가정하지 않더라도 최적의 필터를 학습할 수 있음을 보여준다.
• 40,000개의 벡터(1,000개 시간 단계를 가진 40개의 궤적)에서의 실증 테스트는, 일관된 복원 기법을 모든 모델에 적용함으로써 rEFH가 성능의 하한을 추정함을 확인하였으며, 비교가 타당함을 입증한다.