[논문 리뷰] Dopamine: Brain Modes, Not Brains

Shervin Ghasemlou|arXiv (Cornell University)|2026. 02. 12.

Neurological disorders and treatments인용 수 0

한 줄 요약

요약: 본 논문은 TauGate를 제안하는데, TauGate는 활성화 공간 PEFT 방법으로 기본 가중치를 고정하고 뉴런별 임계값과 게인이 뉴런 활성화를 차단/통제하도록 학습하여 해석 가능한 모드 전환을 작은 파라미터 예산으로 가능하게 한다. MNIST 회전 모드 연구에서 학습 가능한 파라미터가 적은 상태에서도 경쟁력 있는 정확도와 해석 가능한 게이팅을 보여준다.

ABSTRACT

Parameter-efficient fine-tuning (PEFT) methods such as \lora{} adapt large pretrained models by adding small weight-space updates. While effective, weight deltas are hard to interpret mechanistically, and they do not directly expose \emph{which} internal computations are reused versus bypassed for a new task. We explore an alternative view inspired by neuromodulation: adaptation as a change in \emph{mode} -- selecting and rescaling existing computations -- rather than rewriting the underlying weights. We propose \methodname{}, a simple activation-space PEFT technique that freezes base weights and learns per-neuron \emph{thresholds} and \emph{gains}. During training, a smooth gate decides whether a neuron's activation participates; at inference the gate can be hardened to yield explicit conditional computation and neuron-level attributions. As a proof of concept, we study ``mode specialization'' on MNIST (0$^\circ$) versus rotated MNIST (45$^\circ$). We pretrain a small MLP on a 50/50 mixture (foundation), freeze its weights, and then specialize to the rotated mode using \methodname{}. Across seeds, \methodname{} improves rotated accuracy over the frozen baseline while using only a few hundred trainable parameters per layer, and exhibits partial activation sparsity (a minority of units strongly active). Compared to \lora{}, \methodname{} trades some accuracy for substantially fewer trainable parameters and a more interpretable ``which-neurons-fire'' mechanism. We discuss limitations, including reduced expressivity when the frozen base lacks features needed for the target mode.

연구 동기 및 목표

• 뉴로모듀에이션에 비유를 통해 가중치 재배선 없이 적응적 계산을 동기화한다.
• TauGate를 개발해 바탕 가중치를 고정하는 채로 뉴런별 임계값과 게인을 학습한다.
• 작은 파라미터 예산으로 MNIST 0° vs 45° 회전에서 모드 특화를 입증한다.
• 제어된 환경에서 TauGate를 바이어스만 미세조정, LoRA, 전체 파인튜닝과 비교한다.
• 활성화 공간 PEFT의 해석 가능성 및 한계에 대한 통찰을 제공한다.

제안 방법

• TauGate를 뉴런별 임계값과 게인으로 정의하되 매끄러운 게이트 g = sigmoid(s(z - tau))를 갖는다.
• 베이스 가중치를 고정하고 레이어당 (tau, gamma)만 학습한다.
• 추론 시 게이트를 경화하여 명시적 조건부 계산을 도출할 수 있다.
• 게이트 활성화 규제기를 통해 희소성을 촉진한다.
• 매개변수 수를 정량화하고 baselines (예: BitFit, LoRA, Full FT)와 비교한다.
• 작은 MLP와 DirectML을 이용한 재현 가능한 MNIST 회전 실험을 제공한다.

Figure 1: Test accuracy on MNIST (0 ∘ ) and rotated MNIST (45 ∘ ) after specializing to the rotated mode. TauGate improves over the frozen foundation baseline with a small parameter budget and exhibits partial activation sparsity (“High-act frac” in Table 1 ).

실험 결과

연구 질문

• RQ1 TauGate를 통한 활성화 공간 게이팅이 고정된 백본에서 모드별 특화에 도달할 수 있는가?
• RQ2 정확도 및 파라미터 효율성에서 TauGate가 가중치 공간 PEFT 방법과 어떻게 비교되는가?
• RQ3 하드 게이트된 서브네트워크를 통해 해석 가능한 뉴런 단위 기여를 제공하는가?
• RQ4 제한된 데이터의 토이 설정에서 게이팅 기반 PEFT의 트레이드오프와 한계는 무엇인가?

주요 결과

방법	학습 가능한 파라미터	정확도 (0 ∘ )	정확도 (45 ∘ )	고활성 비율
고정(적응 없음)	0	0.832 ± 0.017	0.833 ± 0.016	–
BitFit(바이어스만)	266	0.851 ± 0.005	0.852 ± 0.009	–
TauGate(임계값 조정)	512	0.850 ± 0.006	0.850 ± 0.010	0.28
LoRA(r=8)	10448	0.855 ± 0.006	0.864 ± 0.005	–
전체 FT	118282	0.783 ± 0.007	0.887 ± 0.005	–

• TauGate는 학습 가능한 파라미터 512개를 추가하고 회전 모드에 특화된 후 0°와 45° 모두에서 0.850의 정확도를 달성한다.
• 고정된 백본과 비교하면 TauGate가 회전 모드의 정확도를 향상시키면서 원래 모드의 성능을 보존한다.
• BitFit(학습 가능한 파라미터 266개)에서 0° 0.851, 45° 0.852를 달성한다.
• LoRA(r=8)는 학습 가능한 파라미터 10,448개를 사용해 0° 0.855, 45° 0.864를 달성한다.
• 전체 파인튜닝은 학습 가능한 파라미터 118,282개를 사용해 0° 0.783, 45° 0.887를 달성한다.
• TauGate는 활성화의 부분적 희소성을 보이며, 고활성 유닛의 비율이 0.28로 모드별 게이팅을 시사한다.