[논문 리뷰] Recurrent Feedback Improves Feedforward Representations in Deep Neural Networks

Siming Yan, Xuyang Fang외 4명|arXiv (Cornell University)|2019. 12. 22.

Neural dynamics and brain function참고 문헌 22인용 수 6

한 줄 요약

이 논문은 VGG16 아키텍처의 인접한 레이어 간에 순환 피드백과 수평 연결을 갖춘 생물학적으로 영감을 받은 딥 네ural 네트워크를 제안한다. 피드백을 통한 정밀 조정을 통해 시각적 개념의 변화 없이도 핵심 의미 클러스터 주위의 피드포워드 표현을 안정화시킴으로써 노이즈 및 가림에 대한 강건성을 향상시킨다. 이는 기본 개념을 변경하지 않은 채 성능 향상을 이룬다.

ABSTRACT

The abundant recurrent horizontal and feedback connections in the primate visual cortex are thought to play an important role in bringing global and semantic contextual information to early visual areas during perceptual inference, helping to resolve local ambiguity and fill in missing details. In this study, we find that introducing feedback loops and horizontal recurrent connections to a deep convolution neural network (VGG16) allows the network to become more robust against noise and occlusion during inference, even in the initial feedforward pass. This suggests that recurrent feedback and contextual modulation transform the feedforward representations of the network in a meaningful and interesting way. We study the population codes of neurons in the network, before and after learning with feedback, and find that learning with feedback yielded an increase in discriminability (measured by d-prime) between the different object classes in the population codes of the neurons in the feedforward path, even at the earliest layer that receives feedback. We find that recurrent feedback, by injecting top-down semantic meaning to the population activities, helps the network learn better feedforward paths to robustly map noisy image patches to the latent representations corresponding to important visual concepts of each object class, resulting in greater robustness of the network against noises and occlusion as well as better fine-grained recognition.

연구 동기 및 목표

• 순환 피드백과 맥락 조절이 딥 네럴 네트워크의 피드포워드 표현 강건성에 어떻게 기여하는지 조사하기.
• 학습 중 피드백이 잠재 표현에 내재된 시각적 개념을 변화시키는지, 아니면 손상 상황에서의 안정성 향상에 기여하는지 확인하기.
• 상향 및 횡방향 피드백이 미세한 물체 인식 및 노이즈/가림에 대한 강건성에 미치는 영향 평가하기.
• 피드백이 딥 네트워크 레이어에서 인구 코드의 클러스터링 및 구별 가능성에 어떻게 영향을 주는지 특성화하기.

제안 방법

• 프라임 영양 시각 피질의 연결성과 유사하게 VGG16의 인접 스테이지 간에 세 개의 순환 피드백 루프를 갖춘 VGG-CM 모델 도입.
• 지역 수평 및 상향 피드백 연결을 갖춘 마이크로회로 설계를 통해 중간 레이어의 활동을 조절.
• 피드백 신호를 포함한 역전파를 사용해 네트워크를 정밀 조정함으로써 맥락 정보가 초기 레이어 표현을 형성하도록 허용.
• pool3 레이어에서 잠재 표현의 클러스터를 시각적 개념으로 정의하고, 내부 클래스 빈도와 간접 클래스 유일성으로 개념 중요도 순위 매기기.
• 청결한 패치와 노이즈가 가미된 패치가 동일한 시각적 개념으로 매핑되는 빈도를 평가하고, 클러스터 중심에서의 평균 거리를 계산함으로써 강건성 측정.
• 피드백 정밀 조정 이전과 이후의 인구 코드에서 물체 클래스 간의 분별 가능성을 d-prime로 정량화.

실험 결과

연구 질문

• RQ1 학습 중 순환 피드백이 피드포워드 네트워크의 노이즈 및 가림에 대한 강건성을 향상시키는가?
• RQ2 피드백은 잠재 표현의 시각적 개념 안정성과 클러스터링에 어떻게 영향을 미치는가?
• RQ3 향상 효과는 시각적 개념 자체의 변화 때문인가, 아니면 입력이 그것들에 매핑되는 방식의 변화 때문인가?
• RQ4 피드백은 인구 코드에서 물체 클래스 간의 분별 가능성에 얼마나 기여하는가?
• RQ5 피드백은 손상된 이미지 패치가 올바른 잠재 표현으로 유지되는 것을 도울 수 있는가?

주요 결과

• 순환 피드백을 통한 정밀 조정은 50% 가우시안 노이즈 및 가림에 대해 피드포워드 전파 동안에도 강건성을 크게 향상시킨다.
• VGG-CM-0 모델은 표준 VGG16에 비해 노이즈가 가미된 패치 중 약 15~20% 더 많은 비율을 원래의 시각적 개념 클러스터 내에 유지한다.
• VGG-CM-0에서 노이즈 표현이 원래의 개념 중심에서 떨어진 평균 거리는 25% 감소하여 안정성이 높아짐을 나타낸다.
• 피드백 정밀 조정 이후 인구 코드에서 물체 클래스 간의 분별 가능성(d-prime)이 증가했으며, 이는 피드백 영향을 받는 가장 초기 레이어에서도 관찰되었다.
• 시각적 개념의 정체성과 중요도 순위는 대부분 그대로 유지되어, 향상 효과가 개념 재조직화가 아니라 표현 안정성 향상에서 비롯됨을 시사한다.
• 주요 이점은 피드백이 피드포워드 경로를 더 강건하고 의미적으로 유의미한 클러스터로 더 잘 매핑하도록 이끄는 데서 비롯되며, 핵심 개념을 변경하지 않은 채 성능 향상을 이룬다.