[논문 리뷰] Engineering Monosemanticity in Toy Models

Adam S. Jermyn, Nicholas Schiefer외 1명|arXiv (Cornell University)|2022. 11. 16.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 훈련 동역학과 아키텍처 선택을 조작하여 소규모 다룰 수 있는 신경망 모델에서 단일 해석 가능한 입력 특징에만 반응하는 단의미성 뉴런을 설계할 수 있음을 보여준다. 음수의 초기화나 모델 너비를 증가시킴으로써 저자들은 성능 저하 없이 매우 단의미성 해답을 달성하였으며, 이는 단의미성 뉴런뿐 아니라 다의미성 뉴런의 기계적 해석 가능성까지 보장한다.

ABSTRACT

In some neural networks, individual neurons correspond to natural ``features'' in the input. Such \emph{monosemantic} neurons are of great help in interpretability studies, as they can be cleanly understood. In this work we report preliminary attempts to engineer monosemanticity in toy models. We find that models can be made more monosemantic without increasing the loss by just changing which local minimum the training process finds. More monosemantic loss minima have moderate negative biases, and we are able to use this fact to engineer highly monosemantic models. We are able to mechanistically interpret these models, including the residual polysemantic neurons, and uncover a simple yet surprising algorithm. Finally, we find that providing models with more neurons per layer makes the models more monosemantic, albeit at increased computational cost. These findings point to a number of new questions and avenues for engineering monosemanticity, which we intend to study these in future work.

연구 동기 및 목표

• 작은 신경망 모델에서 단의미성 뉴런을 체계적으로 설계할 수 있는지 조사하는 것.
• 훈련 동역학과 아키텍처 선택이 신경망 내 단의미성에 미치는 영향을 이해하는 것.
• 손실이나 계산 비용을 증가시키지 않고도 높은 단의미성도를 달성하기 위한 방법을 개발하는 것.
• 이러한 설계된 모델에서 단의미성 뉴런과 다의미성 뉴런의 기계적 해석 가능성을 보장하는 것.

제안 방법

• 선형 변환(편향 포함)과 비선형성으로 구성된 두 층의 전방향 아키텍처를 사용하며, 두 번째 층은 편향 없이 구성한다.
• 모델을 세 가지 작업—특징 복원, 무작위 재투영, 절댓값 계산—에서 훈련시키며, 이 모든 작업은 알려진 참값 특징을 가진다.
• 학습률과 편향 초기화를 조절하여 최적화가 다양한 국소 최소값으로 향하도록 훈련 동역학을 제어한다.
• 편향에 대해 가중치 감소를 적용하여 모델을 더 단의미성 해답으로 체계적으로 유도한다.
• 층당 뉴런 수를 체계적으로 변화시켜 모델 너비가 단의미성에 미치는 영향을 연구한다.
• 뉴런 활성도, 입력/출력 맵, 복원된 특징의 간섭 패턴 분석을 통해 기계적 해석을 수행한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 작은 해석 가능한 모델에서 단의미성 뉴런을 설계할 수 있는가?
• RQ2 학습 초모수, 예를 들어 학습률과 편향 초기화의 선택이 단의미성에 어떤 영향을 미치는가?
• RQ3 층당 뉴런 수를 늘리면 단의미성이 향상되는가, 그리고 만약 그렇다면 그 비용은 무엇인가?
• RQ4 설계된 모델에서 단의미성 뉴런과 다의미성 뉴런이 실제로 구현하는 계산 알고리즘은 무엇인가?
• RQ5 편향 패턴은 단의미성 최소값을 식별하고 설계하는 데 신뢰할 수 있는 신호가 될 수 있는가?

주요 결과

• 더 높은 학습률이나 음수의 편향 초기화로 훈련한 모델은 성능 저하 없이 더 단의미성 국소 최소값으로 수렴한다.
• 더 단의미성 최소값은 세 작업 전반에 걸쳐 일관되게 중간 정도의 음수 편향을 보인다.
• 편향에 대한 가중치 감소 적용으로 매우 단의미성 모델을 설계할 수 있었으며, L1 정규화와 비교해 성능가능성이 유사했다.
• 층당 뉴런 수를 늘리면 단의미성이 향상되지만, 이는 더 높은 계산 부담을 수반한다.
• 단의미성 극한에서, 단일 뉴런은 특징 복원과 간섭 억제 사이의 균형 알고리즘을 수행한다.
• 특징당 두 개의 단의미성 뉴런은 특징을 '실제일 가능성 있음' 또는 '간섭일 가능성 있음'으로 공동으로 분류하고, 실제 특징의 강도를 복원한다.