[논문 리뷰] Predictive Encoding of Contextual Relationships for Perceptual Inference, Interpolation and Prediction

M. Zhao, Chengxu Zhuang외 2명|arXiv (Cornell University)|2014. 11. 14.

Neural dynamics and brain function참고 문헌 25인용 수 3

한 줄 요약

이 논문은 시각적 시퀀스에서 인지적 추론, 보간, 예측을 향상시키기 위해 시공간적 맥락 관계를 학습하는 신경 기반 예측 코딩 모델을 제안한다. 예측 오차를 사용해 은닉 맥락 표현을 업데이트함으로써 피드포워드 입력을 변경하지 않고 이중 방향 추론을 가능하게 하여, 예측 성능에서 게이트드 볼츠만 기계(Gated Boltzmann Machines, GBM)를 뛰어넘고, 빈 프레임 보간 기능을 유일하게 지원한다.

ABSTRACT

We propose a new neurally-inspired model that can learn to encode the global relationship context of visual events across time and space and to use the contextual information to modulate the analysis by synthesis process in a predictive coding framework. The model learns latent contextual representations by maximizing the predictability of visual events based on local and global contextual information through both top-down and bottom-up processes. In contrast to standard predictive coding models, the prediction error in this model is used to update the contextual representation but does not alter the feedforward input for the next layer, and is thus more consistent with neurophysiological observations. We establish the computational feasibility of this model by demonstrating its ability in several aspects. We show that our model can outperform state-of-art performances of gated Boltzmann machines (GBM) in estimation of contextual information. Our model can also interpolate missing events or predict future events in image sequences while simultaneously estimating contextual information. We show it achieves state-of-art performances in terms of prediction accuracy in a variety of tasks and possesses the ability to interpolate missing frames, a function that is lacking in GBM.

연구 동기 및 목표

• 시각적 시퀀스에서 공간과 시간을 아우르는 맥락 관계를 학습하는 생물학적으로 타당한 모델을 개발하는 것.
• 표준 예측 코딩과 게이트드 볼츠만 기계(GBM)가 빈 프레임 보간을 처리하는 데에 한계가 있음을 해결하는 것.
• 통합된 프레임워크를 통해 맥락 정보의 동시 추정과 예측 또는 재구성 생성을 가능하게 하는 것.
• 학습된 은닉 맥락 표현을 통해 이미지 합성의 조정을 통해 추론 및 예측 정확도를 향상시키는 것.
• 예측 오차가 피드포워드 입력을 대체하지 않고 맥락 표현만 업데이트하는 방식이 생물학적으로 더 타당한지 입증하는 것.

제안 방법

• 상향 피드백이 예측을 생성하고 하향 오차 신호가 맥락 표현을 업데이트하는 예측 코딩 프레임워크를 사용한다.
• 상향 및 하향 과정을 모두 활용하여 시각적 사건의 예측 가능성 최대화를 통해 은닉 맥락 표현을 학습한다.
• 예측 오차는 맥락 표현만 업데이트하는 데 사용되며, 다음 계층의 피드포워드 입력을 변경하지 않아 생물학적 타당성을 향상시킨다.
• 모델은 피드포워드 경로에서 시공간 필터링을 적용하여 GBM에서 요구하는 N-방향 곱셈 상호작용이나 신경 동기화를 피한다.
• 맥락 조절은 이미지 합성 중 기저 함수를 재스케일링하여 적응형 예측 및 재구성을 가능하게 한다.
• 합성된 이미지 시퀀스와 관측된 이미지 시퀀스 간의 예측 오차를 최소화하여 엔드 투 엔드로 프레임워크를 훈련한다.

실험 결과

연구 질문

• RQ1 예측 코딩 모델이 시공간 맥락 관계를 학습하고 활용하여 인지적 추론과 예측을 향상시킬 수 있는가?
• RQ2 모델은 표준 GBM 모델이 갖지 못하는 바탕으로 이미지 시퀀스에서 빈 프레임을 보간할 수 있는가?
• RQ3 예측 오차를 사용해 맥락 표현만 업데이트하고 피드포워드 입력을 변경하지 않는 방식이 표준 예측 코딩보다 생물학적으로 더 타당한가?
• RQ4 모델의 예측 및 보간 성능은 게이트드 볼츠만 기계와 같은 최신 기술 모델과 비교해 어떻게 되는가?
• RQ5 대규모 훈련이 필요 없이 NORB 데이터셋과 같이 데이터가 제한된 시퀀스에 일반화할 수 있는가?

주요 결과

• 모델은 시험된 이미지 시퀀스에서 예측 정확도에서 최신 기술 수준의 성능을 달성하였으며, GBM를 약간 앞서는 성능을 보였다.
• 모델은 GBM가 두 프레임 간 변환에 의존하기 때문에 제공할 수 없는 바탕으로 이미지 시퀀스에서 빈 프레임 보간을 유일하게 지원한다.
• 표 4.3의 정량적 결과는 모델의 예측 및 보간에 대한 루트 평균 제곱 오차(RMSE)가 NORB 데이터셋에서 GBM 및 GAE와 비교해 유사하거나 우수한 성능을 보였다.
• 예측 오차를 사용해 맥락 표현만 업데이트하고 피드포워드 입력을 대체하지 않는 방식은 표준 예측 코딩보다 뇌 생리학적 관찰과 더 잘 부합한다.
• 사차 상관 관계를 가진 필터를 훈련시켜 시간 해상도를 향상시켜, 그림 6에 나타낸 바와 같이 합리적인 보간 결과를 도출하였다.
• 학습된 은닉 변수를 통한 맥락 조절이 단순한 재구성 이상의 생성적 및 구성적 시각 인지 기능을 효과적으로 지원할 수 있음을 입증하였다.