[논문 리뷰] Interpreting Neural Networks through the Polytope Lens

Sid Black, Lee Sharkey외 9명|arXiv (Cornell University)|2022. 11. 22.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 신경망의 기계적 해석 가능성에 대한 새로운 프레임워크로 '다면체 렌즈(polytope lens)'를 제안한다. 조각별 선형 활성화 함수가 활성화 공간을 이산적인 다면체로 분할하며, 이는 뉴런이나 방향보다 더 기본적인 단위가 된다고 주장한다. 저자들은 다면체가 단일의미 영역을 식별하고 의미 경계를 반영할 수 있음을 보여주며, 비선형 표현을 이해하는 데 더 견고한 추상화를 제공한다.

ABSTRACT

Mechanistic interpretability aims to explain what a neural network has learned at a nuts-and-bolts level. What are the fundamental primitives of neural network representations? Previous mechanistic descriptions have used individual neurons or their linear combinations to understand the representations a network has learned. But there are clues that neurons and their linear combinations are not the correct fundamental units of description: directions cannot describe how neural networks use nonlinearities to structure their representations. Moreover, many instances of individual neurons and their combinations are polysemantic (i.e. they have multiple unrelated meanings). Polysemanticity makes interpreting the network in terms of neurons or directions challenging since we can no longer assign a specific feature to a neural unit. In order to find a basic unit of description that does not suffer from these problems, we zoom in beyond just directions to study the way that piecewise linear activation functions (such as ReLU) partition the activation space into numerous discrete polytopes. We call this perspective the polytope lens. The polytope lens makes concrete predictions about the behavior of neural networks, which we evaluate through experiments on both convolutional image classifiers and language models. Specifically, we show that polytopes can be used to identify monosemantic regions of activation space (while directions are not in general monosemantic) and that the density of polytope boundaries reflect semantic boundaries. We also outline a vision for what mechanistic interpretability might look like through the polytope lens.

연구 동기 및 목표

• 특히 다의미성과 비선형성을 고려하지 못하는 문제로 인해 뉴런과 방향이 기계적 해석 가능성의 기본 단위로 제한됨을 해결하기 위해.
• 조각별 선형 활성화 함수로 정의되는 다면체—즉, 활성화 공간의 다각형 영역—를 제안하여 신경망 표현을 기하학적으로 더 체계적인 기초로 설명하고자 하다.
• 뉴런이나 방향이 실패할 때 다면체가 단일의미 활성화 영역을 식별할 수 있는지 평가하고자 하다.
• 비교적 시각 및 언어 모델에서 다면체 경계가 의미 경계와 일치하는지 조사하고자 하다.
• 활성화 공간의 비선형적 구조에 초점을 맞춤으로써 기계적 해석 가능성에서 더 '누출되지 않는' 추상화 기반을 마련하고자 하다.

제안 방법

• ReLU 기반 네트워크가 활성화 공간을 다면체로 분할하는 방식을 수학적으로 기술하는 최대-아핀 스퍼링 연산자(MASOs)로 신경망을 모델링한다.
• ReLU 비선형성에서 유도된 초평면에 의해 둘러싸인 영역으로 다면체를 정의하며, 각 영역은 특정 선형 변환에 해당한다.
• 입력 간 활성화 보간을 통해 다면체 밀도를 계산하고 의미적 내용에 따라 경계가 어떻게 이동하는지 시각화한다.
• 활성화 벡터에 스케일링 및 시각화 기법을 적용하여 다면체 경계를 매핑하고 의미 변화와의 일치 정도를 평가한다.
• 다양한 입력에서 활성화 벡터가 동일한 다면체 내에 머무는 지점을 분석함으로써 단일의미 영역을 식별한다.
• 다면체 기반 해석을 기존의 뉴런/방향 기반 방법과 비교하여 타당성과 의미적 일관성의 정도를 평가한다.

실험 결과

연구 질문

• RQ1 다면체는 개별 뉴런이나 선형 방향보다 더 신뢰성 있고 단일의미적인 표현 단위로 작용할 수 있는가?
• RQ2 활성화 공간의 다면체 경계는 서로 다른 입력 개념 간 의미 경계와 대응하는가?
• RQ3 다면체 경계의 밀도는 이미지나 텍스트 보간과 같은 입력 데이터의 의미 전이와 어떻게 관련이 있는가?
• RQ4 다면체 기반 접근법은 선형 특징 방향보다 더 정확하고 모호성이 적은 기계적 해석 가능성 해석을 얼마나 잘 제공하는가?
• RQ5 다면체 렌즈는 고차원 표현에서 초중첩과 간섭의 구조적 특성을 드러낼 수 있는가?

주요 결과

• 개별 뉴런이나 방향이 다의미성을 띠는 영역에서 다면체는 단일의미 영역을 식별할 수 있으며, 이는 다면체가 더 일관된 해석 단위임을 보여준다.
• 이미지 분류기와 언어 모델 모두에서 다면체 경계가 의미 경계를 반영함을 입증하였다. 보간 실험을 통해 의미 전이 지점에서 경계 밀도가 증가하는 것으로 확인되었다.
• 다면체 렌즈에 따르면, 방향은 전역적으로 해석 가능하지 않다. 어떤 영역에선 단일의미적이지만 다른 영역에선 다의미적일 수 있으며, 이는 활성화 다면체의 위치에 따라 달라진다.
• 이 방법은 시각 및 언어 모델 양쪽에서 이해 가능한 단일의미 특징을 성공적으로 식별하였으며, 다면체가 선형 방향보다 특징 경계를 더 정확히 포착함을 보여주는 사례가 있다.
• 이 프레임워크는 특징 방향이 활성화가 속한 다면체에 따라 분포 외부 또는 내부에 위치함을 예측하며, 분포 일반화에 기하학적 기준을 제공한다.
• 다면체 렌즈는 초중첩과 다의미성으로 인한 해석 오류를 줄이기 위해 활성화 공간의 비선형적 구조를 고려함으로써, 뉴런이나 방향보다 더 견고한 추상화를 제공한다.