[논문 리뷰] Convolutional Neural Generative Coding: Scaling Predictive Coding to Natural Images

Alexander G. Ororbia, Ankur Mali|arXiv (Cornell University)|2022. 11. 22.

Cell Image Analysis Techniques인용 수 9

한 줄 요약

이 논문은 예측 코딩 프레임워크 내에서 컨볼루션 및 디컨볼루션 레이어를 사용하는 뇌에 영감을 받은 비지도 학습 이미지 처리 모델인 Conv-NGC를 제안한다. 이 모델은 내부 표현을 반복적으로 개선하며, 백프로파게이션 대신 국소적이고 생물학적으로 타당한 학습 규칙을 사용함으로써, 이미지 복원 및 노이즈 제거에서 경쟁적인 성능을 달성한다. 특히, 분포 외 데이터에서 백프로파게이션로 훈련된 오토인코더를 능가한다.

ABSTRACT

In this work, we develop convolutional neural generative coding (Conv-NGC), a generalization of predictive coding to the case of convolution/deconvolution-based computation. Specifically, we concretely implement a flexible neurobiologically-motivated algorithm that progressively refines latent state feature maps in order to dynamically form a more accurate internal representation/reconstruction model of natural images. The performance of the resulting sensory processing system is evaluated on complex datasets such as Color-MNIST, CIFAR-10, and Street House View Numbers (SVHN). We study the effectiveness of our brain-inspired model on the tasks of reconstruction and image denoising and find that it is competitive with convolutional auto-encoding systems trained by backpropagation of errors and outperforms them with respect to out-of-distribution reconstruction (including the full 90k CINIC-10 test set).

연구 동기 및 목표

• 백프로파게이션의 생물학적 비현실성과 계산적 병목 현상에서 벗어나 생물학적으로 타당한 비지도 학습 이미지 처리 시스템을 개발하는 것.
• 예측 코딩을 자연 이미지에 확장하기 위해 컨볼루션 및 디컨볼루션 연산을 직접 프레임워크에 통합하는 것.
• 국소적 오차 신호와 잔차 블록 구조를 사용해 잠재 특징 맵의 동적이고 반복적인 개선을 가능하게 하는 것.
• CIFAR-10 및 SVHN과 같은 복잡한 데이터셋에서 성능을 평가하고, 특히 분포 외 일반화 능력을 분석하는 것.
• 전역 오차 피드백이나 백프로파게이션을 사용하지 않고도 백프로파게이션로 훈련된 오토인코더와 경쟁 가능한 성능을 달성하는 것.

제안 방법

• Conv-NGC는 상향식 오차 신호와 하향식 생성 경로를 갖는 계층적 예측 코딩 아키텍처를 사용하며, 이미지 표현을 모델링하기 위해 컨볼루션 및 디컨볼루션 레이어를 활용한다.
• 모델은 예측 및 보정 단계를 반복적으로 수행하여 잠재 상태 특징 맵을 개선하며, 상태 갱신은 조절 인자 β와 γ를 통한 누적 통합 방식으로 제어된다.
• 오차 신호는 다단계, 학습 불가능한 경로(식 11에 따라)를 통해 전달되어, 백프로파게이션 없이도 빠르고 국소적인 오차 전파가 가능하다.
• 복잡한 변환을 모델링하기 위해 잔차 블록 구조를 사용하며, 오차 신호는 편미분 벡터를 통해 중간 레이어로 전파된다(식 8–11 참조).
• 새로운 학습 규칙(식 12)은 재귀적 LRA를 사용해 가중치와 오차 필터를 갱신하며, ΔW와 ΔE는 확장된 역전치 컨볼루션과 하위 레이어의 오차 신호를 사용해 계산된다.
• 모델는 국소적이고 백프로파게이션되지 않은 신뢰도 할당 메커니즘을 사용해 훈련되며, 이는 뉴모르픽 하드웨어와 확장 가능한 병렬 처리에 적합하다.

실험 결과

연구 질문

• RQ1 컨볼루션 및 디컨볼루션 레이어를 사용해 예측 코딩을 자연 이미지에 효과적으로 확장할 수 있는가?
• RQ2 국소적으로 학습된 생물학적으로 타당한 신뢰도 할당 메커니즘이 이미지 복원 및 노이즈 제거 과제에서 백프로파게이션을 능가하는가?
• RQ3 기본 오토인코더와 비교해 분포 외 데이터에서 모델의 일반화 능력은 어떠한가?
• RQ4 다단계 오차 전달 경로를 갖는 잔차 블록이 백프로파게이션되지 않은 프레임워크에서 표현 학습을 향상시키는가?
• RQ5 전역 오차 피드백이나 백프로파게이션을 사용하지 않고도 이미지 복원에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• Conv-NGC는 CIFAR-10 및 SVHN에서 백프로파게이션로 훈련된 오토인코더와 유사한 아키텍처를 갖는 경우와 비교해 경쟁 가능한 복원 성능을 달성한다.
• 90,000장의 CINIC-10 테스트 세트 전체에서 Conv-NGC는 분포 외 복원에서 백프로파게이션 기반 모델을 능가하며, 더 뛰어난 일반화 능력을 보여준다.
• 모델는 강력한 노이즈 제거 성능을 보이며, 전역 오차 피드백 없이도 오차 신호를 국소적으로만 사용해 깨끗한 이미지를 효과적으로 복원한다.
• 가중치 갱신을 위한 재귀적 LRA의 사용은 백프로파게이션 없이도 안정적이고 효율적인 훈련을 가능하게 하며, 백프로파게이션으로 훈련된 ResNet과 비교해 유사한 성능을 달성한다.
• 다단계 오차 전달 경로(식 11)는 오차 흐름을 전방 계산과 성공적으로 분리하여 효율적이고 영리한 학습을 가능하게 한다.
• 예측 코딩에 디컨볼루션 레이어를 통합함으로써 시각 작업에 대한 표현 능력이 크게 향상되었으며, 이는 문헌상 처음으로 구현된 사례이다.