[논문 리뷰] A Neurally-Inspired Hierarchical Prediction Network for Spatiotemporal Sequence Learning and Prediction

Jielin Qiu, Ge Huang외 1명|arXiv (Cornell University)|2019. 01. 25.

Image Retrieval and Classification Techniques참고 문헌 43인용 수 6

한 줄 요약

이 논문은 계층적 예측을 통해 분석-합성 프레임워크 내에서 시공간 시퀀스를 학습하는 신경학적으로 영감을 받은 순환 LSTM 기반 모델인 계층적 예측 네트워크(HPNet)를 제안한다. 다양한 수준에서 예측 오차를 최소화함으로써 HPNet은 최신 기술 수준의 장거리 영상 예측 성능를 달성하고, 예측 및 익숙함 억제와 같은 신경생리학적 현상을 재현한다.

ABSTRACT

In this paper we developed a hierarchical network model, called Hierarchical Prediction Network (HPNet), to understand how spatiotemporal memories might be learned and encoded in the recurrent circuits in the visual cortical hierarchy for predicting future video frames. This neurally inspired model operates in the analysis-by-synthesis framework. It contains a feed-forward path that computes and encodes spatiotemporal features of successive complexity and a feedback path for the successive levels to project their interpretations to the level below. Within each level, the feed-forward path and the feedback path intersect in a recurrent gated circuit, instantiated in a LSTM module, to generate a prediction or explanation of the incoming signals. The network learns its internal model of the world by minimizing the errors of its prediction of the incoming signals at each level of the hierarchy. We found that hierarchical interaction in the network increases semantic clustering of global movement patterns in the population codes of the units along the hierarchy, even in the earliest module. This facilitates the learning of relationships among movement patterns, yielding state-of-the-art performance in long range video sequence predictions in the benchmark datasets. The network model automatically reproduces a variety of prediction suppression and familiarity suppression neurophysiological phenomena observed in the visual cortex, suggesting that hierarchical prediction might indeed be an important principle for representational learning in the visual cortex.

연구 동기 및 목표

• 시공간 기억이 예측 학습을 통해 시각 피질 계층에서 어떻게 인코딩되는지 이해하기 위해.
• 예측 오차 최소화를 통한 세계 모델 학습을 통해 생물학적으로 타당한 딥 러닝 모델을 개발하기 위해.
• 계층적 피드백 및 피드포워드 상호작용이 운동 패턴의 의미적 군집화를 어떻게 향상시키는지 조사하기 위해.
• 장거리 영상 시퀀스 예측 벤치마크에서 모델의 성능을 평가하기 위해.
• 모델이 예측 억제 및 익숙함 억제와 같은 신경생리학적 현상을 재현하는지 확인하기 위해.

제안 방법

• HPNet는 여러 수준으로 구성된 계층적 아키텍처를 사용하며, 각 수준은 특징 추출을 위한 피드포워드 경로와 상향식 예측을 위한 피드백 경로를 포함한다.
• 각 수준은 LSTM 기반 순환 게이팅 회로를 활용하여 피드포워드 입력과 피드백 예측을 통합된 표현으로 통합한다.
• 네트워크는 역전파를 통해 내부 가중치를 조정함으로써 각 수준에서 예측 오차를 최소화하여 세계 모델 학습을 가능하게 한다.
• 피드백 경로는 고차원 해석을 저차원으로 투영하여 맥락 인식과 국소 예측의 정교화를 가능하게 한다.
• 모델는 분석-합성 프레임워크 내에서 작동하며, 예측을 생성하고 입력 신호와 비교하여 내부 표현을 정밀화한다.
• 복잡도가 증가하는 시공간 특징은 수준을 거치며 인코딩되며, 초기 모듈에서도 이미 전체 운동 패턴의 의미적 군집화가 관찰된다.

실험 결과

연구 질문

• RQ1 계층적 순환 네트워크 모델이 예측 오차 최소화를 통해 복잡한 시공간 시퀀스를 학습하고 예측할 수 있는가?
• RQ2 계층적 피드백 상호작용은 인구 코드 내에서 운동 패턴의 의미적 군집화를 어떻게 향상시키는가?
• RQ3 HPNet이 기존 모델 대비 장거리 영상 시퀀스 예측에서 어느 정도 뛰어난 성능을 보이는가?
• RQ4 모델이 예측 억제 및 익숙함 억제와 같은 신경생리학적 현상을 재현하는가?
• RQ5 계층적 구조는 시각 피질에서 추상적 표현의 출현을 어떻게 설명할 수 있는가?

주요 결과

• HPNet는 벤치마크 데이터셋에서 장거리 영상 시퀀스 예측 분야에서 최신 기술 수준의 성능를 달성한다.
• 계층적 상호작용은 초기 네트워크 모듈조차도 전체 운동 패턴의 의미적 군집화를 향상시킨다.
• 모델는 자동으로 예측 억제 및 익숙함 억제를 재현하며, 시각 피질의 신경생리학적 관찰과 일치한다.
• 각 수준의 순환 게이팅 회로는 피드포워드 및 피드백 신호를 통합하여 예측을 성공적으로 생성한다.
• 분석-합성 프레임워크는 계층적 수준 간 오차 최소화를 통해 효과적인 세계 모델 학습을 가능하게 한다.
• 네트워크의 내부 표현은 계층의 깊이가 증가함에 따라 점차 추상화되고 맥락 인식 능력이 향상된다.