[논문 리뷰] What Colour is Neural Noise?

Jillian Doyle, Alan C. Evans|arXiv (Cornell University)|2018. 06. 10.

Neural dynamics and brain function참고 문헌 18인용 수 4

한 줄 요약

이 논문은 뇌의 신경 잡음이 일반적으로 가정되는 것처럼 흰 잡음 또는粉색 잡음에 국한되지 않을 수 있으며, 다양한 '색조'—특정한 파wer 스펙트럼 밀도를 가진—예를 들어 파랑, 초록, PURPLE 잡음 등일 수 있다고 주장한다. 음향, 영상, 물리학 분야의 유사성에 기반하여 저자들은 인공 신경망에 색조 잡음을 통합할 경우 일반화 능력과 인지 기능 향상에 기여할 수 있으며, 특히 파랑 잡음 덤파이팅이 신경 신호 처리와 확률적 촉진 과정에서 핵심적인 역할을 할 수 있다고 제안한다.

ABSTRACT

Random noise plays a beneficial role in cognitive processing and produces measurable improvement in simulations and biological agents' task performance. Stochastic facilitation, the phenomenon of additive noise improving signal transmission in complex systems, has been shown to occur in a variety of neural contexts. However, neuroscience analyses to date have not fully explored the colours that neural noise could be. The literature shows a 1/f pink noise power spectrum distribution at many levels, but many less rigourous studies assume white noise, with little justification of why that assumption is made. In this work, we briefly review the colours of noise and their useful applications in other fields. If we consider that noise is not so black and white, we could more colourfully regularize artificial neural networks and re-investigate some surprising results about how the brain benefits from noise.

연구 동기 및 목표

• 신경과학과 인공지능 분야에서 널리 공인된 신경 잡음은 주로 흰 잡음 또는 분홍 잡음이라고 가정하는 경향을 도전한다.
• 다양한 '색조'의 잡음—즉, 파워 스펙트럼 밀도에 의해 정의되는 것—이 생물학적 신경 가변성을 보다 잘 모델링할 수 있는지 조사한다.
• 특히 파랑 잡음이 포함된 색조 잡음이 생물학적 및 인공 신경망 시스템에서의 신호 전송과 학습을 어떻게 향상시킬 수 있는지 탐색한다.
• 일반적인 흰 잡음 대신 주파수 특성에 맞는 스펙트럼을 가진 잡음을 사용하여 인공 신경망의 노이즈 주입을 재고할 것을 주장한다.
• 인지 기능과 신경 계산에서 비균일한 스펙트럼 특성을 가진 잡음의 功能적 역할에 대한 다학제적 연구를 자극한다.

제안 방법

• 파워 스펙트럼 밀도(PSD) 모델을 사용하여 색조 잡음의 이론적 프레임워크를 검토: S(f) ∝ 1/f^α, 여기서 α는 잡음의 색조를 정의한다.
• 기존 신경과학 문헌을 분석하여 1/f(분홍) 잡음이 관찰된 영역를 확인하고, 다른 α 값들에 대한 탐색 부족을 문제 제기한다.
• 컴퓨터 그래픽스와 음향 공학 분야에서 파랑, 초록, 보라색 잡음 등이 덤파이팅 및 감각 최적화에 사용된 사례를 유추한다.
• 인공 신경망이 흰 잡음 대신 색조 잡음을 사용한 데이터 증강을 통해 강건성과 일반화 능력을 향상시킬 수 있음을 제안한다.
• EEG, MEG, fMRI, 단일 뉴런 기록에서의 확률적 촉진 증거를 검토하여 특정 스펙트럼 특성을 가진 잡음이 신호 탐지 능력을 향상시킬 수 있음을 시사한다.
• 현재의 신호 전처리 방법(예: EEG/MEG에서의 저역통과 필터링)이 유익한 고주파수 잡음 성분을 제거할 수 있음을 강조한다.

실험 결과

연구 질문

• RQ1 비흰, 비분홍 잡음 스펙트럼을 신경 신호 처리 및 인공 신경망에서 사용할 경우 기능적 영향은 무엇인가?
• RQ2 영상 및 음향 분야에서 관찰된 것처럼, 파랑 잡음 또는 기타 색조 잡음이 덤파이팅을 통해 신경 시스템에서 신호 대 잡음비를 향상시킬 수 있는가?
• RQ3 왜 신경과학 분야는 철저한 정당성 없이 흰 잡음 또는 분홍 잡음에 국한된 가정을 해왔으며, 이러한 가정의 결과는 무엇인가?
• RQ4 신경 잡음의 파워 스펙트럼 밀도가 발달, 주의, 과제 요구 조건에 따라 어떻게 변화할 수 있으며, 이는 신경 코드화에 어떤 의미를 갖는가?
• RQ5 인공 네트워크에 색조 잡음을 통합할 경우 생물학적으로 유사한 학습과 강건성을 얼마나 잘 재현하거나 향상시킬 수 있는가?

주요 결과

• 현재 문헌에서 자주 가정하는 것처럼 뇌의 신경 잡음이 흰 잡음 또는 분홍 잡음에 국한되지 않을 수 있으며, 더 넓은 스펙트럼 특성을 가질 수 있다.
• 고주파수 성분이 분포된 파랑 잡음은 영상 및 음향 분야의 덤파이팅 응용에서 흰 잡음보다 뛰어난 성능을 보였으며, 이는 신경 신호 처리에 유익한 잠재적 이점을 시사한다.
• 확률적 촉진—약한 신호 탐지 능력을 향상시키는 잡음의 영향—은 비흰 잡음에서도 발생할 수 있으며, 특히 고조파와 공진이 관여할 경우 더욱 두드러진다.
• 현재의 신경 데이터 전처리 방법, 예를 들어 EEG 및 MEG에서의 저역통과 필터링은 기능적으로 도움이 되는 고주파수 잡음 성분을 제거할 수 있다.
• 인공 네트워크에서의 드롭아웃은 뇌 내 잡음 상관관계 감소와 유사하므로, 인공적 및 생물학적 잡음 관리 방식 간 유사성이 존재한다.
• 직접적인 실험적 증거는 아직 파랑 또는 초록 잡음이 신경 시스템에서 존재한다는 것이 없지만, 이론적 근거와 다학제적 유사성은 그 기능적 역할의 가능성을 강력히 시사한다.