[논문 리뷰] LieGG: Studying Learned Lie Group Generators

Artem Moskalev, Anna Sepliarskaia외 2명|arXiv (Cornell University)|2022. 10. 09.

Topological and Geometric Data Analysis인용 수 6

한 줄 요약

이 논문은 미분 가능 모델과 훈련 데이터로부터 무한소 리 군 생성자를 계산하여 신경망에서 학습된 대칭성을 추출하고 분석하는 LieGG라는 방법을 제안한다. 깊이 있는, 과다 매개변수화된 네트워크가 피니팅 또는 계층별 훈련을 통해 중간 계층에서 더 정밀하고 불변성 있는 대칭성을 학습함을 드러내며, 데이터의 대칭성에 대한 사전 지식 없이도 이를 가능하게 한다.

ABSTRACT

Symmetries built into a neural network have appeared to be very beneficial for a wide range of tasks as it saves the data to learn them. We depart from the position that when symmetries are not built into a model a priori, it is advantageous for robust networks to learn symmetries directly from the data to fit a task function. In this paper, we present a method to extract symmetries learned by a neural network and to evaluate the degree to which a network is invariant to them. With our method, we are able to explicitly retrieve learned invariances in a form of the generators of corresponding Lie-groups without prior knowledge of symmetries in the data. We use the proposed method to study how symmetrical properties depend on a neural network's parameterization and configuration. We found that the ability of a network to learn symmetries generalizes over a range of architectures. However, the quality of learned symmetries depends on the depth and the number of parameters.

연구 동기 및 목표

• 기본 대칭군에 대한 사전 지식 없이 신경망이 학습한 대칭성을 드러내는 방법을 개발하는 것.
• 대칭성 분산과 편향과 같은 정량적 지표를 사용하여 학습된 대칭성의 품질과 불변성의 정도를 평가하는 것.
• 네트워크의 깊이, 너비, 훈련 제도가 학습된 대칭성의 정확성과 강건성에 미치는 영향을 조사하는 것.
• 훈련 과정에서 암묵적으로 습득한 기하학적 인도티브 바이어스를 드러내어 모델의 이해 가능성을 향상시키는 것.

제안 방법

• 네트워크의 데이터 변환에 대한 그래디언트로부터 유도된 행렬의 영공간 방정식을 해결하여 학습된 리 군의 무한소 생성자를 추출한다.
• 리 대수-리 군 대응 관계를 활용하여 생성자를 지수화하고 전체 연속 대칭 변환을 복원한다.
• 생성자의 극성 행렬에서 대칭성 분산과 대칭성 편향을 계산하여 불변성 품질을 정량화한다.
• 제어된 변동 요소를 가진 회전-MNIST 및 기타 데이터셋에 대해 피드포워드 네트워크에 적용한다.
• 사전 훈련, 피니팅, 계층별 훈련 등 다양한 훈련 제도에 대한 분석을 지원한다.
• 일반적인 방법으로서, 유일한 요구 조건은 미분 가능성뿐이므로 어떤 신경망 아키텍처에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 신경망은 아키텍처의 인도티브 바이어스 없이 데이터로부터 연속 대칭성을 얼마나 잘 학습하는가?
• RQ2 학습된 대칭성이 데이터에 존재하는 진짜 대칭성을 얼마나 정확히 반영하는가?
• RQ3 네트워크의 깊이와 매개변수 수는 학습된 대칭성의 정밀성과 불변성에 어떤 영향을 미치는가?
• RQ4 피니팅 또는 계층별 훈련과 같은 다양한 훈련 제도는 중간 계층의 대칭성 학습에 어떤 영향을 미치는가?
• RQ5 MLP와 트랜스포머와 같은 모델이 학습한 기하학적 인도티브 바이어스를 정량화하고 해석할 수 있는가?

주요 결과

• 더 깊고 과다 매개변수화된 네트워크는 더 작은 아키텍처에 비해 더 정밀한 대칭군과 더 높은 불변성 정도를 학습한다.
• 다양한 훈련 제도로 훈련된 네트워크의 최종 및 전결계층은 유사한 수준의 대칭성에 수렴함을 보이며, 이는 임무에 특화된 최적의 불변성 대칭성 존재를 시사한다.
• 중간 계층은 훈련 제도에 크게 의존함: 피니팅과 계층별 훈련은 대칭성 정확도를 향상시켜 대칭성 분산과 편향을 모두 감소시킴.
• 사전 훈련된 하위 네트워크는 더 깊은 모델의 일부로 훈련할 때보다 더 정확한 대칭성을 학습함을 보이며, 이는 사전 훈련이 대칭성 학습을 향상시킨다는 것을 시사한다.
• 변환 집합에 대한 사전 지식 없이도 학습된 대칭성의 생성자를 성공적으로 복원하여 불변성 품질의 정량적 평가가 가능해짐.