[논문 리뷰] Transfer entropy-based feedback improves performance in artificial neural networks

Sebastian Herzog, Christian Tetzlaff외 1명|arXiv (Cornell University)|2017. 06. 13.

Neural dynamics and brain function참고 문헌 35인용 수 5

한 줄 요약

이 논문은 인공 신경망에서 전방향 경로 중 가장 관련성이 높은 경로를 식별하고 강화하기 위해 전이 엔트로피를 사용하는 피드백 메커니즘을 제안한다. 얕은 AlexNet 아키텍처에서 성능을 크게 향상시켰으며, 피드백 연결을 뉴런 간 전이 엔트로피에 기반해 구성함으로써 CIFAR-10에서 10%의 정확도 향상을 달성했다. 이는 깊이가 많고 추가 파rameter가 거의 없는 구조임에도 불구하고 최신의 깊은 신경망 수준의 성능을 달성했다.

ABSTRACT

The structure of the majority of modern deep neural networks is characterized by uni- directional feed-forward connectivity across a very large number of layers. By contrast, the architecture of the cortex of vertebrates contains fewer hierarchical levels but many recurrent and feedback connections. Here we show that a small, few-layer artificial neural network that employs feedback will reach top level performance on a standard benchmark task, otherwise only obtained by large feed-forward structures. To achieve this we use feed-forward transfer entropy between neurons to structure feedback connectivity. Transfer entropy can here intuitively be understood as a measure for the relevance of certain pathways in the network, which are then amplified by feedback. Feedback may therefore be key for high network performance in small brain-like architectures.

연구 동기 및 목표

• 깊이 또는 파rameter 수를 늘리지 않고도 얕고 몇 층으로 구성된 인공 신경망(AlexNet)의 성능을 향상시키는 것.
• 전이 엔트로피로 구조화된 피드백 연결이 신호 전달 능력과 분류 정확도를 향상시킬 수 있는지 조사하는 것.
• 척추동물 피각의 피드백이 풍부하고 계층적인 구조를 모방함으로써 인공 신경망과 뇌 사이의 아키텍처 격차를 메우는 것.
• 전이 엔트로피가 깊은 네트워크 내에서 높은 관련성을 가진 처리 경로를 식별하는 데 생물학적으로 타당한 지표가 될 수 있는지 확인하는 것.

제안 방법

• 전방향 경로의 뉴런 간 전이 엔트로피를 계산하여 한 노드에서 다른 노드로의 정보 흐름의 관련성을 정량화하는 것.
• 전이 엔트로피를 피드백 연결 정의의 기준으로 사용: 원거리 노드 간 전이 엔트로피가 높을수록 피드백 강화가 강하게 적용됨.
• AlexNet의 컨볼루션 레이어 2~5 간에만 피드백 가중치를 도입하며, 피드백 강도는 전이 엔트로피 값에 비례하도록 설정.
• 중간 레이어를 조건으로 하여 장거리 정보 전달을 평가함으로써 비접촉 레이어 간의 전달 특성을 분석.
• 재학습 없이 피드백 연결을 적용; 오직 피드백 가중치만 백프로파게이션 이후에 추가되며, 원래 네트워크의 학습된 특징을 유지.
• 순차적인 이미지 입력을 고려해 노드 활동 간 인과적 영향을 추정하기 위해 d=1인 단순화된 이산 시간 전이 엔트로피 공식을 사용.

실험 결과

연구 질문

• RQ1 전이 엔트로피로 구조화된 피드백 연결이 얕은 인공 신경망의 분류 성능을 향상시킬 수 있는가?
• RQ2 전이 엔트로피가 피드백을 통한 강화를 위해 가장 관련성이 높은 전방향 경로를 식별하는 신뢰할 수 있는 지표가 될 수 있는가?
• RQ3 전이 엔트로피 기반 피드백과 무작위 또는 균일 분포 피드백 간의 성능 향상 정도는 어떻게 비교되는가?
• RQ4 적은 층 수를 가진 네트워크에 타겟 피드백을 적용했을 때, 훨씬 깊은 표준 전방향 네트워크의 성능을 어느 정도 따라올 수 있는가?
• RQ5 전이 엔트로피로 생성된 피드백 패턴과 척추동물 피각에서 관찰된 피드백 연결성 간에 구조적 유사성이 있는가?

주요 결과

• 전이 엔트로피 기반 피드백 메커니즘이 표준 전방향 AlexNet 대비 CIFAR-10에서 상위 1 정확도를 10% 향상시켰으며, 훨씬 깊은 최신 모델 수준의 성능을 달성했다.
• 이 성능 향상은 약 75% 더 많은 연결 수와 최소한의 추가 파rameter로 달성되었으며, 모든 추가 파rameter가 작고 학습 후에 추가된 점을 감안할 때 매우 효율적이다.
• 피드백 연결은 주로 장거리였으며, 원거리 레이어 간 전이 엔트로피가 인접 레이어 간보다 높아 장거리 경로 신호의 강화가 더 강하게 이루어졌다.
• 통제 실험 결과, 피드백 연결이 전이 엔트로피 기반 구조를 따르지 않을 경우 성능이 떨어지며, 이는 제안된 연결 규칙의 중요성을 확인한다.
• 이 프레임워크는 깊은 네트워크에서 흔한 낮은 전방 수렴 경로를 자연스럽게 강화하면서도, 이미 강한 국소 연결에 대한 강화를 최소화함으로써 과도한 활성화를 방지한다.
• 결과적으로 생성된 피드백 아키텍처는 박쥐 피각에서 관찰되는 피드포워드와 피드백 연결이 번갈아 배치된 패턴과 유사하여, 이 방법이 생물학적으로 타당할 수 있음을 시사한다.