[논문 리뷰] Polysemanticity and Capacity in Neural Networks

Adam Scherlis, Kshitij Sachan외 3명|arXiv (Cornell University)|2022. 10. 04.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 신경망 내 다의미성의 원인을 이해하기 위한 프레임워크로 특징 용량을 제안하며, 최적의 용량 할당이 고중요도 특징에 대해 단의미적 표현을, 중간중요도 특징에 대해 다의미적 표현을, 저중요도 특징에 대해 완전한 생략을 이끌어낸다는 것을 보여준다. 핵심 발견은 한정된 손실 감소량 당 특징의 균형이 맞을 때 다의미성이 자연스럽게 발생하며, 기하학적 분석을 통해 모델 아키텍처에 따라 달라지는 블록-반직교적 구조가 드러난다는 것이다.

ABSTRACT

Individual neurons in neural networks often represent a mixture of unrelated features. This phenomenon, called polysemanticity, can make interpreting neural networks more difficult and so we aim to understand its causes. We propose doing so through the lens of feature \emph{capacity}, which is the fractional dimension each feature consumes in the embedding space. We show that in a toy model the optimal capacity allocation tends to monosemantically represent the most important features, polysemantically represent less important features (in proportion to their impact on the loss), and entirely ignore the least important features. Polysemanticity is more prevalent when the inputs have higher kurtosis or sparsity and more prevalent in some architectures than others. Given an optimal allocation of capacity, we go on to study the geometry of the embedding space. We find a block-semi-orthogonal structure, with differing block sizes in different models, highlighting the impact of model architecture on the interpretability of its neurons.

연구 동기 및 목표

• 신경망 뉴런 내 다의미성의 원인을 이해하기 위해, 한 개의 뉴런이 서로 관련이 없는 다수의 입력 특징을 동시에 표현하는 방식을 분석한다.
• 특징 용량 개념을 수식화하여, 특징이 임bedding 공간에서 소비하는 분수 차원을 0에서 1 사이로 제한한다.
• 손실 함수가 특징 중요도와 희박성과 연관하여 용량 할당을 통해 다의미적 표현을 어떻게 유도하는지 연구한다.
• 최적의 용량 할당 하에서 임bedding 공간의 기하학적 구조를 분석하여, 블록-반직교적 구성이 드러나게 한다.
• 다양한 모델 아키텍처와 입력 분포에서 이론적 예측과 실증 결과를 비교한다.

제안 방법

• 이차 활성화를 사용하는 일층 신경망을 갖는 단순 모델을 제안하여 특징 중요도와 희박성에 따라 특징 용량 할당을 해석적으로 계산한다.
• 특징 용량을 $ C_i = \frac{(w_i \cdot w_i)^2}{\sum_{j=1}^N (w_i \cdot w_j)^2} $로 정의하며, 이는 특징 $ i $ 가 임bedding 차원에서 소비하는 비율을 나타낸다.
• 유니터리 행렬 구성 기법을 사용하여, $ 0 \leq C_i \leq 1 $ 이고 $ \sum C_i = D $ 를 만족하는 임의의 용량 튜플 $ (C_1, \dots, C_N) $ 이 임bedding 공간에서 실현 가능함을 증명한다.
• 특징의 중요도와 희박성에 따라, 특징이 단의미적($ C_i = 1 $), 무시됨($ C_i = 0 $), 또는 다의미적($ 0 < C_i < 1 $)이 되는 영역을 보여주는 단계도를 구성한다.
• 임bedding 기하학을 분석하여, 블록-반직교적 구조가 나타나며, 블록 크기는 모델 아키텍처에 따라 달라진다는 것을 보여준다.
• 입력의 첨도와 희박성이 증가할수록 다의미성이 증가하며, 특히 용량 할당에 대한 구조적 제약이 있는 아키텍처에서 더 흔히 나타남을 입증한다.

실험 결과

연구 질문

• RQ1 신경망이 임bedding 공간 내 개별 특징에 대해 전체, 부분, 또는 영 용량을 할당하는 조건은 무엇인가?
• RQ2 특징 중요도와 입력의 희박성이 결합하여 다의미적 뉴런의 출현에 어떻게 영향을 미치는가?
• RQ3 용량이 최적으로 할당되었을 때 임bedding 공간 내에서 어떤 기하학적 구조가 나타나는가?
• RQ4 어떤 모델은 단의미적에서 다의미적 표현으로의 급격한 전이를 보이지만, 다른 모델은 그렇지 않은 이유는 무엇인가?
• RQ5 모델 아키텍처가 용량 할당을 어떻게 제약하며, 이로 인해 뉴런의 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 손실에 대해 높은 중요도를 가지는 특징은 항상 전체 임bedding 차원을 소비하며 단의미적으로 표현된다($ C_i = 1 $).
• 낮은 중요도를 가지는 특징은 손실에 기여하더라도 완전히 무시되며, 용량을 0으로 받는다($ C_i = 0 $).
• 중간 중요도 특징은 다른 특징들과 함께 임bedding 차원을 공유하며 다의미적으로 표현되며, 이 때 마진널 손실 감소량이 동일하도록 용량이 할당된다.
• 임bedding 공간 기하학은 블록-반직교적 구조를 보이며, 블록은 함께 임bedding 차원을 공유하는 특징 그룹을 나타내며, 블록 크기는 모델 아키텍처에 따라 달라진다.
• 입력의 희박성과 첨도가 증가할수록 다의미성이 증가하며, 특히 용량 할당에 제약이 있거나 비직교적인 임bedding 구조를 가진 아키텍처에서 더 흔히 나타난다.
• 모든 가능한 용량 튜플 $ (C_1, \dots, C_N) $ 이며 $ 0 \leq C_i \leq 1 $ 이고 $ \sum C_i = D $ 를 만족하는 경우, 유니터리 행렬 구성 기법을 통해 수학적으로 실현 가능하며, 이는 이론적 프레임워크의 일반성을 확인한다.