[논문 리뷰] Deep Predictive Coding Network with Local Recurrent Processing for Object Recognition

Kuan Han, Haiguang Wen외 4명|arXiv (Cornell University)|2018. 05. 19.

Advanced Neural Network Applications인용 수 35

한 줄 요약

이 논문은 생체 모방적인 예측 코딩을 반영하여 국소적 순환 처리를 갖는 딥 예측 코딩 네트워크(PCA)를 제안한다. 이 네트워크는 이중 방향 피드백 및 피드포워드 연결을 통해 반복적으로 개선되는 물체 인식 표현을 구현한다. 뇌의 예측 코딩을 모방함으로써, 표준 CNN보다 더 적은 층과 파라미터로 SVHN, CIFAR, ImageNet에서 경쟁적인 이미지 분류 정확도를 달성하며, 예측 오차를 통해 시각적 주목도를 드러낸다.

ABSTRACT

Inspired by "predictive coding" - a theory in neuroscience, we develop a bi-directional and dynamic neural network with local recurrent processing, namely predictive coding network (PCN). Unlike feedforward-only convolutional neural networks, PCN includes both feedback connections, which carry top-down predictions, and feedforward connections, which carry bottom-up errors of prediction. Feedback and feedforward connections enable adjacent layers to interact locally and recurrently to refine representations towards minimization of layer-wise prediction errors. When unfolded over time, the recurrent processing gives rise to an increasingly deeper hierarchy of non-linear transformation, allowing a shallow network to dynamically extend itself into an arbitrarily deep network. We train and test PCN for image classification with SVHN, CIFAR and ImageNet datasets. Despite notably fewer layers and parameters, PCN achieves competitive performance compared to classical and state-of-the-art models. Further analysis shows that the internal representations in PCN converge over time and yield increasingly better accuracy in object recognition. Errors of top-down prediction also reveal visual saliency or bottom-up attention.

연구 동기 및 목표

• 예측 코딩을 뇌에서 영감을 얻어 생물학적으로 타당한 신경망 아키텍처를 개발하여 물체 인식 성능을 향상시키는 것.
• 깊이 있는 피드포워드 아키텍처에 대한 의존도를 줄이기 위해, 얕은 네트워크에서 순환 처리를 통해 동적 깊이를 가능하게 하는 것.
• 국소적 순환 처리와 피드백 및 피드포워드 연결이 표현 학습 및 분류 성능 향상에 기여하는지 조사하는 것.
• 반복적 추론 과정에서 예측 오차로부터 시각적 주목도가 어떻게 발생하는지 탐구하는 것.
• 예측 코딩 네트워크에서 국소적 순환 처리와 전역적 순환 처리의 성능 및 동역학을 비교하는 것.

제안 방법

• PCN는 각 층이 상하좌우 이웃 층과 피드백(상향 예측) 및 피드포워드(하향 오차) 연결을 통해 상호작용하는 이중 방향 아키텍처를 사용한다.
• 각 시간 단계에서, 경량 기반의 동역학을 사용해 예측 오차를 최소화함으로써 층 단위 표현을 반복적으로 개선한다.
• 학습은 표준 백프로파게이션을 사용하지만, 추론 과정에서는 시간에 따라 순환 처리를 전개하여 효과적인 계층을 깊게 만든다.
• 각 층은 인셉션 유형의 CNN 모듈을 사용해 특징을 추출하고, 반복적인 개선을 위한 예측 코딩 동역학을 통합한다.
• 층 간의 예측 오차 신호를 사용해 인식 과정 중 시각적 주목도 및 주목 메커니즘을 분석한다.
• 표준 이미지 분류 프rotocol을 사용해 SVHN, CIFAR-10, CIFAR-100, ImageNet에서 평가한다.

실험 결과

연구 질문

• RQ1 표준 CNN보다 더 적은 파라미터와 층을 사용할 때, 이중 방향 네트워크에서 국소적 순환 처리가 물체 인식 성능 향상에 기여하는가?
• RQ2 순환 처리 중 예측 오차는 시각적 주목도 또는 하향 주목도와 어떻게 관련이 있는가?
• RQ3 예측 코딩을 통한 표현의 반복적 개선이 수렴하고 안정된 내부 상태에 도달하는가?
• RQ4 성능 및 효율성 측면에서 국소적 순환 처리는 전역적 순환 처리보다 어떻게 비교되는가?
• RQ5 PCN의 오차 신호는 명시적 지도 없이도 주목도 맵을 예측하는 데 사용될 수 있는가?

주요 결과

• PCN는 표준 또는 최첨단 모델보다 훨씬 적은 층과 파라미터로 SVHN, CIFAR-10, CIFAR-100, ImageNet에서 경쟁적인 분류 정확도를 달성한다.
• 예측 오차 노름이 시간이 지남에 따라 감소함을 확인하여, 순환 처리 과정에서 내부 표현이 안정된 낮은 오차 상태로 수렴함을 시사한다.
• 층 간의 예측 오차 공간 분포는 시각적 주목도를 드러내며, 핵심 특징을 지닌 이미지 영역을 강조함으로써 하향 주목도의 발생을 암시한다.
• 층 표현의 갱신 방향이 분류 손실의 음의 기울기와 일치함을 확인하여, 예측 코딩이 암묵적으로 최적의 표현 학습을 지원함을 시사한다.
• 국소적 순환 처리를 갖는 PCN가 전역 순환 처리 버전보다 성능이 뛰어나, 핵심 물체 인식에 국소 피드백이 충분함을 시사한다.
• 네트워크 내부의 오차 신호는 명시적 지도 없이도 주목도 맵을 예측할 수 있어, 주목 모델링 잠재력이 있음을 나타낸다.