[논문 리뷰] On the Symmetries of Deep Learning Models and their Internal Representations

Charles Godfrey, Davis Brown외 2명|arXiv (Cornell University)|2022. 05. 27.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 딥러닝 아키텍처에 내재된 대칭군인 인터티너 그룹(intertwiner groups)을 도입하여, 모델 아키텍처와 학습된 내부 표현 간의 대칭성을 연결한다. 이러한 그룹이 신경망 스티칭과 표현 비교에 효과적으로 기여함을 보여주며, ReLU 네트워크의 대칭성이 은닉 표현에 그대로 유지됨을 입증함으로써, 해석 가능성 분석을 임의의 선형 조합이 아닌 활성화 기반으로 집중할 근거를 제공한다.

ABSTRACT

Symmetry is a fundamental tool in the exploration of a broad range of complex systems. In machine learning symmetry has been explored in both models and data. In this paper we seek to connect the symmetries arising from the architecture of a family of models with the symmetries of that family's internal representation of data. We do this by calculating a set of fundamental symmetry groups, which we call the intertwiner groups of the model. We connect intertwiner groups to a model's internal representations of data through a range of experiments that probe similarities between hidden states across models with the same architecture. Our work suggests that the symmetries of a network are propagated into the symmetries in that network's representation of data, providing us with a better understanding of how architecture affects the learning and prediction process. Finally, we speculate that for ReLU networks, the intertwiner groups may provide a justification for the common practice of concentrating model interpretability exploration on the activation basis in hidden layers rather than arbitrary linear combinations thereof.

연구 동기 및 목표

• 딥러닝 모델의 아키텍처 대칭성과 그가 학습한 내부 표현의 대칭성 간의 관계를 체계화하는 것.
• ReLU 및 배치 정규화와 같은 일반적인 비선형성과 관련된 기본 대칭군—인터티너 그룹—을 식별하고 특성화하는 것.
• 이러한 인터티너 그룹이 동일한 아키텍처이지만 다른 가중치를 가진 두 모델 간의 최소한의 효과적인 스티칭 레이어로 기능할 수 있음을 보여주는 것.
• 인터티너 그룹 변환에 대해 불변인 새로운 표현 유사도 측정법을 개발하여, 다양한 모델 간 은닉 표현 비교를 향상시키는 것.
• ReLU 네트워크에서 활성화 기반 해석 가능성에 초점을 맞추는 데 이론적 및 실증적 근거를 제공하는 것.

제안 방법

• 특정 비선형 활성화 함수 $ \sigma $ 와 차원 $ n $ 에 연결된 대칭군인 인터티너 그룹 $ G_{\sigma_n} $ 를 정의하며, 이는 가중치 변환 하에 모델의 함수 공간을 유지하는 군이다.
• 정리 4.2에서 인터티너 그룹이 동일한 아키텍처를 가진 두 네트워크를 연결할 때 예측 정확도를 유지하기 위해 필요한 최소한의 스티칭 레이어임을 증명한다.
• Myrtle CNN 및 ResNet20에 대해 $ G_{\text{ReLU}} $-제한 1×1 컨볼루션 스티칭 레이어를 설계하고 평가하며, 전체 선형 스티칭과의 정확도 손실을 비교한다.
• 직교 프로크루스테스와 CKA와 유사하게 $ G_{\text{ReLU}} $-변환에 대해 불변인 표현 유사도 측정법인 $ G_{\text{ReLU}} $-Procrustes 와 $ G_{\text{ReLU}} $-CKA 를 도입한다.
• 회전된 표현 기저에서의 네트워크 디스section 실험을 수행하여 해석 가능성의 안정성을 평가하고, IoU 기반 개념 탐지 성능을 측정한다.
• ReLU를 사용하지 않은 ResNet-50 변형 모델을 훈련하고 비교하여 활성화 함수가 표현 대칭성과 해석 가능성에 미치는 영향을 연구한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델의 아키텍처 대칭성—특히 ReLU와 같은 비선형성과 연결된 대칭성—은 데이터의 내부 표현에 어떻게 나타나는가?
• RQ2 인터티너 그룹을 사용하여 동일한 아키텍처이지만 다른 가중치를 가진 두 네트워크를 연결할 때 예측 정확도를 유지하는 최소한의 스티칭 레이어를 구성할 수 있는가?
• RQ3 $ G_{\text{ReLU}} $-불변 유사도 측정법인 $ G_{\text{ReLU}} $-CKA 는 직교 불변 측정법보다 얼마나 더 잘 표현 유사도를 캡처하는가?
• RQ4 특히 ReLU 기반 모델에서 표현 기저가 회전되었을 때 은닉 표현의 해석 가능성은 안정적인가?
• RQ5 왜 해석 가능성 연구에서 활성화 기반이 일반적으로 선호되는가? 그리고 인터티너 그룹은 이러한 관행에 대한 이론적 근거를 제공할 수 있는가?

주요 결과

• CIFAR-10에서 두 개의 ResNet20을 $ G_{\text{ReLU}} $-제한 1×1 컨볼루션만을 사용해 스티칭할 경우 정확도 손실이 약 10% 이내로 유지되며, 전체 선형 스티칭 레이어 수준에 가까운 성능을 보인다.
• $ G_{\text{ReLU}} $-불변 유사도 측정법인 $ G_{\text{ReLU}} $-Procrustes 와 $ G_{\text{ReLU}} $-CKA 는 은닉 표현이 $ G_{\text{ReLU}} $ 변환에 대해 일치할 때 최대가 되며, 이는 ReLU 기반 모델에 대해 직교 불변 측정법보다 더 적절한 지표임을 보여준다.
• 네트워크 디스section 실험 결과, 특히 잔차 출력에서 ReLU를 사용하지 않는 모델에서는 표현 기저를 활성화 기저에서 벗어나게 회전시킬수록 해석 가능한 유닛(예: 물체 및 경관 탐지기)의 비율이 증가한다.
• 잔차 출력에서 ReLU를 제거한 ResNet-50 변형 모델은 ImageNet에서 76.1%의 top-1 정확도를 달성하여, 이러한 모델이 핵심 대칭 유도 비선형성을 제거함에도 불구하고 여전히 효과적임을 입증한다.
• 실증 결과는 독립적으로 훈련된 네트워크의 뉴런들이 단순한 순열이 아님을 보여주며, $ G_{\text{ReLU}} $-기반 스티칭 조차도 정확도 격차가 존재함으로써 분산형 및 다의미 표현의 존재를 뒷받침한다.
• 인터티너 그룹 $ G_{\text{ReLU}} $ 는 활성화 기반 해석 가능성의 효과성에 대한 이론적 기반을 제공하며, ReLU 네트워크의 대칭성을 유지하고 관찰된 표현 구조와 일치함을 보여준다.