[논문 리뷰] Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics

Bhavin Choksi, Milad Mozafari외 4명|arXiv (Cornell University)|2021. 06. 04.

Adversarial Robustness in Machine Learning참고 문헌 91인용 수 25

한 줄 요약

이 논문은 뇌에서 영감을 얻은 예측 코딩 동역학을 사용해 사전 학습된 피드포워드 CNN 백본의 강인성을 노이즈 및 적대적 공격에 대해 향상시키고, 피드백 가중치의 비지도 학습과 오픈 소스 PyTorch 패키지 Predify를 통해 이를 구현한다.

ABSTRACT

Deep neural networks excel at image classification, but their performance is far less robust to input perturbations than human perception. In this work we explore whether this shortcoming may be partly addressed by incorporating brain-inspired recurrent dynamics in deep convolutional networks. We take inspiration from a popular framework in neuroscience: 'predictive coding'. At each layer of the hierarchical model, generative feedback 'predicts' (i.e., reconstructs) the pattern of activity in the previous layer. The reconstruction errors are used to iteratively update the network's representations across timesteps, and to optimize the network's feedback weights over the natural image dataset-a form of unsupervised training. We show that implementing this strategy into two popular networks, VGG16 and EfficientNetB0, improves their robustness against various corruptions and adversarial attacks. We hypothesize that other feedforward networks could similarly benefit from the proposed framework. To promote research in this direction, we provide an open-sourced PyTorch-based package called Predify, which can be used to implement and investigate the impacts of the predictive coding dynamics in any convolutional neural network.

연구 동기 및 목표

• 깊은 CNN에서의 강인성 격차를 동기 부여하고 해결책으로 뇌에서 영감을 받은 피드백을 탐구합니다.
• 하위 감독 피드포워드와 비지도 학습 피드백 학습이 분리된 계층적 네트워크에서 예측 코딩 동역학을 도입합니다.
• 자연 왜곡 및 적대적 공격에 대해 VGG16 및 EfficientNetB0의 강인성 향상을 시연합니다.
• 추가 연구를 위한 CNN에 예측 코딩을 구현하는 접근 가능한 소프트웨어 도구(Predify)를 제공합니다.

제안 방법

• ENCoders e_n과 decoders d_n이 피드포워드 W^f와 피드백 W^b로 연결된 계층적 CNN에서 예측 코딩을 구현합니다.
• d_n(t) 및 e_n(t+1)의 피드포워드, 피드백, 기억, 오차 수정 항을 결합하는 식으로 층 활성화를 업데이트합니다.
• 고정된 feedforward 가중치 W^f를 사용한 재구성 손실로 피드백 가중치 W^b를 학습합니다(한 단계 재구성 목표).
• 초기 학습 후 가중치를 고정하고 모든 층에 대해 하이퍼파라미터 beta, lambda, alpha를 고정하여 동역학을 제어합니다.
• Predify를 제공하여 임의의 PyTorch CNN을 구성 파일과 함께 예측 네트워크로 변환하고 확장 가능한 예측 코드를 생성합니다.

실험 결과

연구 질문

• RQ1 예측 코딩 동역학을 도입하면 CNN의 노이즈와 적대적 교란에 대한 강인성이 향상됩니까?
• RQ2 예측 코딩 반복이 시간 스텝 전체에서 표현 및 재구성에 어떤 영향을 미칩니까?
• RQ3 피드백 가중치의 비지도 학습이 적대적 학습 없이도 강인성을 부여할 수 있습니까?
• RQ4 Predify 도구가 연구자들이 다양한 아키텍처에서 뇌에서 영감을 받은 동역학을 실험하는 데 실용적입니까?

주요 결과

• 예측 코딩 보강은 피드포워드 기준선에 비해 다중 시간 스텝에서 가우시안 노이즈 하의 인식 정확도를 향상시킵니다.
• 재구성 및 표현은 더 많은 시간 스텝에서 깨끗한 입력 및 매니폴드에 점차 가까워집니다.
• 하이퍼파라미터를 조정하면 예측 코딩이 ImageNet-C의 일부 교란에 대해 CE(손상 오류)와 mCE(평균 손상 오류)를 감소시킵니다.
• 적대적 공격 전반에 걸쳐 예측 코딩 반복은 시간 스텝에 따라 공격 성공률을 감소시키는 경향이 있어 강인성이 증가합니다.
• 이 접근은 피드백 경로의 지도 학습 없이도 강인성 이점을 제공하며 Predify 패키지로 촉진됩니다.