[논문 리뷰] Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity

Ran Liu, Mehdi Azabou외 6명|PubMed|2021. 11. 03.

Neural dynamics and brain function참고 문헌 56인용 수 11

한 줄 요약

이 논문은 신경 활동을 행동과 관련된 내용(콘텐츠)과 역동성과 관련된 스타일(다이내믹스) 요소로 분리하는 자기지도 학습 생성 모델인 Swap-VAE를 제안한다. 뉴런 드롭아웃과 시간적 저편이 증강 기법을 사용하여, 인스턴스별 정렬 손실과 베타-VAE 프레임워크를 결합하고 BlockSwap를 도입함으로써, 레이블 없이도 최고 수준의 복원 정확도(Chewie-1에서 85.04%)를 달성하여 영양성과 분리 가능한 원숭이 운동 피각 신경 활동의 해석 가능한 표현을 가능하게 한다.

ABSTRACT

Meaningful and simplified representations of neural activity can yield insights into <i>how</i> and <i>what</i> information is being processed within a neural circuit. However, without labels, finding representations that reveal the link between the brain and behavior can be challenging. Here, we introduce a novel unsupervised approach for learning disentangled representations of neural activity called <i>Swap-VAE</i>. Our approach combines a generative modeling framework with an <i>instance-specific alignment</i> loss that tries to maximize the representational similarity between transformed views of the input (brain state). These transformed (or augmented) views are created by dropping out neurons and jittering samples in time, which intuitively should lead the network to a representation that maintains both temporal consistency and invariance to the specific neurons used to represent the neural state. Through evaluations on both synthetic data and neural recordings from hundreds of neurons in different primate brains, we show that it is possible to build representations that disentangle neural datasets along relevant latent dimensions linked to behavior.

연구 동기 및 목표

• 레이블이 없는 행동 데이터 없이 신경 집단 활동의 분리 가능하고 해석 가능한 표현을 학습하는 데 도전하는 것.
• 신경 표현에서 특정 뉴런에 대한 불변성과 시간적 일관성을 동시에 포착하는 자기지도 학습 방법을 개발하는 것.
• 행동 및 운동 역동성과 관련된 잠재 요소를 고립하면서도 현실적인 신경 활동 패턴을 생성할 수 있도록 하는 것.
• 콘텐츠와 스타일 요소의 분리 정도를 평가하는 일반적인 메트릭을 사용하여 표현 품질을 정량화하는 것.
• 행동 작업의 준비 요구 조건이 신경 분리 정도에 영향을 미치는지 탐색하는 것.

제안 방법

• 모델는 신경 활동을 두 구성 요소에서 재구성하기 위해 별도의 콘텐츠 및 스타일 잠재 공간을 가진 변동형 오토인코더(beta-VAE)를 사용한다.
• 동일한 뇌 상태에 대해 두 개의 시각을 생성하기 위해 뉴런 드롭아웃과 시간적 저편이 증강 기법을 적용하여 특정 뉴런과 시간 이동에 대한 불변성을 촉진한다.
• 두 증강 시각의 콘텐츠 표현 간 유사도를 극대화하기 위해 인스턴스별 정렬 손실을 적용한다.
• 새로운 BlockSwap 증강 기법을 도입하여, 두 시각의 콘텐츠 변수를 교환하고, 모델가 교환된 콘텐츠에서 원래 시각을 재구성하도록 훈련한다.
• 재구성 손실과 정렬 손실을 함께 최적화하며, BlockSwap 손실이 분리 가능성과 강건성을 향상시킨다.
• 모델는 합성 데이터와 두 마리의 비인간 원숭이(Chewie-1 및 Mihi)의 실제 신경 기록에서 평가되며, 구성 요소 기여도를 검증하기 위한 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 간단한 증강 기법을 사용한 자기지도 학습이 레이블 없이도 신경 활동을 행동과 관련된(콘텐츠) 요소와 역동성과 관련된(스타일) 요소로 분리할 수 있는가?
• RQ2 BlockSwap 증강 기법은 표준 대비 또는 재구성 손실 대비 분리 가능성과 표현 품질을 어떻게 향상시키는가?
• RQ3 행동 작업의 구조, 예를 들어 준비 요구 조건에 따라 신경 분리 정도가 달라지는가?
• RQ4 모델가 해석 가능한 분리 표현을 유지하면서 얼마나 현실적인 신경 활동 패턴을 생성할 수 있는가?
• RQ5 공간적, 시간적, 병합된 증강 전략의 차이가 분리 목적 함수 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 Swap-VAE 모델은 Chewie-1 데이터셋에서 85.04%의 복원 정확도를 기록하여, 기존의 VAE 및 beta-VAE 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• BlockSwap 손실을 포함시킴으로써 기준 모델 대비 성능 향상이 이루어졌으며, 정렬 손실과 BlockSwap 손실을 모두 사용했을 때 가장 높은 정확도를 달성했다.
• L2 정렬 손실을 제거하더라도 BlockSwap가 존재할 경우 영향이 미미하여, BlockSwap 자체가 콘텐츠 불변성에 강력한 인도적 편향을 제공한다는 것을 시사한다.
• 공간적 및 시간적 증강을 병합한(S+T-Aug) 모델이 공간적 또는 시간적 증강만 사용한 모델보다 성능이 뛰어나, 다중 모odal 증강의 중요성을 입증했다.
• 운동 시작 전 준비 지연이 필요한 Mihi는 Chewie보다 더 뚜렷한 분리 정도를 보였으며, 이는 준비 과정이 더 체계적인 신경 표현을 유도할 수 있음을 시사한다.
• 추론 실험을 통해 재구성 손실, 정렬 손실, BlockSwap 손실의 모든 구성 요소가 분리 가능성과 강건성 향상에 기여한다는 것이 확인되었다.