[논문 리뷰] Provably Strict Generalisation Benefit for Equivariant Models

Bryn Elesedy, Sheheryar Zaidi|arXiv (Cornell University)|2021. 02. 20.

Neural Networks and Applications참고 문헌 31인용 수 10

한 줄 요약

이 논문은 컴act 군 작용에 대해 등변성 조건을 갖는 선형 모델에 대해 일반화 이점이 비영임을 엄밀히 증명하는 최초의 결과를 제공한다. 특히, 모델이 컴 pact 군 작용에 대해 등변성 조건을 갖도록 제약을 둘 때 테스트 오차 향상 정도를 엄밀히 측정한다. 주요 결과는 일반화 갭이 대칭성의 중요도(특성 내적을 통해 측정)에 의존하며, 해석점에서 발산함을 보여주며, 특정 분포 가정 하에 표준 모델보다 엄밀하고 정량화된 이점이 있음을 입증한다.

ABSTRACT

It is widely believed that engineering a model to be invariant/equivariant improves generalisation. Despite the growing popularity of this approach, a precise characterisation of the generalisation benefit is lacking. By considering the simplest case of linear models, this paper provides the first provably non-zero improvement in generalisation for invariant/equivariant models when the target distribution is invariant/equivariant with respect to a compact group. Moreover, our work reveals an interesting relationship between generalisation, the number of training examples and properties of the group action. Our results rest on an observation of the structure of function spaces under averaging operators which, along with its consequences for feature averaging, may be of independent interest.

연구 동기 및 목표

• 등변성 조건을 갖는 선형 설정에서 증명 가능한 비영일반화 이점이 존재함을 공식적으로 입증하는 것.
• 군 대칭성, 학습 데이터 크기, 표현 이론이 일반화 성능에 어떻게 상호작용하는지 기술하는 것.
• 등변성이 최악의 경우 경계를 초월해 일반화 성능을 향상시킬 수 있는지에 대한 이론적 명확성의 부족을 해결하는 것.
• 기대값 연산자와 표현 이론을 사용하여 함수 공간의 구조를 분석하는 엄밀한 프레임워크를 제공하는 것.
• 이론적 원리에 기반해 관계 없는/등변 신경망을 훈련하는 데 실용적인 통찰을 도출하는 것.

제안 방법

• 과다 매개변수화된 선형 모델에서 경사하강법의 암묵적 편향을 모델링하기 위해 최소 L2-노름 최소 제곱 해를 사용한다.
• 직교 군 표현과 특성 이론을 적용하여 표현의 내적을 계산함으로써 대칭성의 중요도를 측정한다.
• 기대값 연산자를 사용하여 함수 공간을 관계 없는, 등변성, 반대칭 부분공간으로 분해한다.
• 무작위 행렬 이론과 등방향 설계 가정을 사용하여 일반화 갭의 정확한 표현을 유도한다.
• 군 작용의 특성과 일반화에 미치는 영향을 코딩하기 위해 행렬 값 함수 $ J_{/mathcal{G}} $ 를 도입한다.
• 등변성 위반 성분을 고립시키기 위해 투영 연산자 $ \Psi_{\mathcal{G}}^{\perp} $ 를 사용하여 테스트 오차에 기여하는 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 선형 모델에서 등변성 조건을 강제로 적용할 경우, 표준 모델 대비 일반화 성능 향상이 증명 가능한 비영으로 존재하는가?
• RQ2 학습 예제 수 $ n $ 가 군 대칭성과 어떻게 상호작용하여 일반화 성능에 영향을 미치는가?
• RQ3 특성 내적 $ (\chi_\psi|\chi_\phi) $ 는 일반화 이점의 크기에 어떤 역할을 하는가?
• RQ4 왜 일반화 갭이 해석점 $ n \in [d-1, d+1] $ 에서 발산하는가? 이는 더블 디센트 현상과 어떻게 일치하는가?
• RQ5 선형 모델에서 도출된 통찰을 바탕으로 관계 없는/등변 신경망을 위한 더 나은 훈련 방법을 설계할 수 있는가?

주요 결과

• 기대 일반화 갭은 $ \mathbb{E}[\Delta(f,f^\prime)] = \text{Var}[\xi] \cdot r(n,d) \cdot (dk - (\chi_\psi|\chi_\phi)) + \mathcal{E}_{\mathcal{G}}(n,d) $ 로 주어지며, 여기서 $ r(n,d) $ 는 데이터 영역 의존성을 나타낸다.
• 일반화 이점은 $ dk - (\chi_\psi|\chi_\phi) > 0 $ 일 때 엄밀히 양수이며, 이는 작업에 비자명한 대칭성 구조가 존재함을 의미한다.
• $ r(n,d) $ 가 $ n \in [d-1, d+1] $ 에서 발산하는 것은 더블 디센트 현상과 일치하며, 해석점 근처에서 일반화 성능 향상이 증가함을 시사한다.
• $ dk - (\chi_\psi|\chi_\phi) $ 는 군 평균 연산에 대해 영이 되는 선형 사상 공간의 차원을 나타내며, 직접적으로 대칭성과 일반화 성능 향상의 관계를 연결한다.
• 노이즈 없는 일반화 갭 $ \mathcal{E}_{\mathcal{G}}(n,d) $ 는 $ n \geq d $ 일 때 0이 되며, 이는 과다 매개변수화된 모델이 진짜 등변 함수를 복구함을 의미한다.
• $ \mathbb{E}[\|\Psi_{\mathcal{G}}^{\perp}(X^\top X)^+ X^\top X \Theta\|_F^2] $ 의 유도된 표현은 모델이 등변성에서 벗어나는 정도와 테스트 오차 사이의 정밀한 연결 고리를 제공한다.