[논문 리뷰] Deep Predictive Coding Network for Object Recognition

Haiguang Wen, Kuan Han외 4명|arXiv (Cornell University)|2018. 02. 13.

Cell Image Analysis Techniques참고 문헌 53인용 수 41

한 줄 요약

양방향의 재귀 신경망 기반 예측 코딩으로 재귀적 상향-하향 처리를 수행해 객체 인식을 향상시키고, 계산 사이클이 증가함에 따라 표준 데이터셋에서 피드포워드만 기반의 기준선보다 성능이 우수합니다.

ABSTRACT

Based on the predictive coding theory in neuroscience, we designed a bi-directional and recurrent neural net, namely deep predictive coding networks (PCN). It has feedforward, feedback, and recurrent connections. Feedback connections from a higher layer carry the prediction of its lower-layer representation; feedforward connections carry the prediction errors to its higher-layer. Given image input, PCN runs recursive cycles of bottom-up and top-down computation to update its internal representations and reduce the difference between bottom-up input and top-down prediction at every layer. After multiple cycles of recursive updating, the representation is used for image classification. With benchmark data (CIFAR-10/100, SVHN, and MNIST), PCN was found to always outperform its feedforward-only counterpart: a model without any mechanism for recurrent dynamics. Its performance tended to improve given more cycles of computation over time. In short, PCN reuses a single architecture to recursively run bottom-up and top-down processes. As a dynamical system, PCN can be unfolded to a feedforward model that becomes deeper and deeper over time, while refining it representation towards more accurate and definitive object recognition.

연구 동기 및 목표

• 피드포워드, 피드백, 순환 연결을 갖춘 깊은 네트워크로 predictive coding 이론을 객체 인식에 적용한다.
• 각 계층에서의 예측 오차를 최소화하기 위해 재귀적 상향-하향 사이클을 통해 내부 표현을 업데이트한다.
• 표준 벤치마크(CIFAR-10/100, SVHN, MNIST)에서 평가하고 피드포워드만 기반의 기준선과 비교한다.
• 계산 사이클 수를 늘리면 인식 성능에 어떤 영향이 있는지 분석한다.

제안 방법

• 피드백과 순환 연결을 갖춘 딥 예측 코딩 네트워크(Deep Predictive Coding Network, PCN)라 불리는 양방향 재귀 신경망을 설계한다.
• 상위 계층의 피드백은 하위 계층 표현의 예측을 보냄으로써 다운스트림으로 전달되며, 상향 신호는 예측 오차를 더 높은 계층으로 전달한다.
• 하향-상향 처리 사이클을 반복적으로 실행하여 계층 간 입력과 상향 예측 간의 차이를 줄인다.
• OBJ 인식을 위한 표현이 정제됨에 따라 시간에 따라 점진적으로 더 깊은 피드포워드 모델로 시스템을 펼친다.
• CIFAR-10/100, SVHN, MNIST에서 PCN을 실험적으로 평가하고 비순환 피드포워드 모델과 비교한다.

실험 결과

연구 질문

• RQ1 예측 코딩 기반 네트워크가 표준 객체 인식 벤치마크에서 전통적인 피드포워드 네트워크를 능가할 수 있는가?
• RQ2 이 재귀 계산 사이클의 수가 벤치마크에서의 인식 정확도에 어떤 영향을 미치는가?
• RQ3 고차 계층의 피드백 및 순환 연결이 분류를 위한 내부 표현의 정확도에 기여하는가?

주요 결과

• PCN은 벤치마크 데이터셋에서 피드포워드만 기반의 동형 모델보다 우수한 성능을 보인다.
• 더 많은 계산 사이클이 시간이 지남에 따라 성능을 향상시킨다.
• 이 모델은 단일 아키텍처를 재귀적 상향-하향 처리에 재사용하여 더 정확한 인식을 위한 표현을 정교화한다.