[논문 리뷰] Improved Generalization Bound of Permutation Invariant Deep Neural Networks

Akiyoshi Sannai, Masaaki Imaizumi|arXiv (Cornell University)|2019. 09. 25.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 ReLU 활성화를 갖는 순열 불변 심층 신경망에 대한 이론적 일반화 경계를 수립하며, 순열 불변성으로 인해 일반화 갭이 √(n!) 배 향상됨을 보여준다. 저자들은 기본 영역 대응과 척도 민감도 메트릭 엔트로피와 같은 새로운 기법을 개발하여, 구조적 제약에도 불구하고 불변 네트워크가 최적의 근사율을 달성함을 증명한다.

ABSTRACT

We theoretically prove that a permutation invariant property of deep neural networks largely improves its generalization performance. Learning problems with data that are invariant to permutations are frequently observed in various applications, for example, point cloud data and graph neural networks. Numerous methodologies have been developed and they achieve great performances, however, understanding a mechanism of the performance is still a developing problem. In this paper, we derive a theoretical generalization bound for invariant deep neural networks with a ReLU activation to clarify their mechanism. Consequently, our bound shows that the main term of their generalization gap is improved by $\sqrt{n!}$ where $n$ is a number of permuting coordinates of data. Moreover, we prove that an approximation power of invariant deep neural networks can achieve an optimal rate, though the networks are restricted to be invariant. To achieve the results, we develop several new proof techniques such as correspondence with a fundamental domain and a scale-sensitive metric entropy.

연구 동기 및 목표

• 포인트 클라우드 및 그래프 학습과 같은 작업에서 순열 불변 심층 신경망이 잘 일반화되는 이유를 이론적으로 이해하는 것.
• ReLU 활성화 함수를 갖는 불변 심층 신경망에 대한 일반화 경계를 유도하는 것.
• 구조적 제약에도 불구하고 순열 불변성이 근사 능력을 손상시키는지 조사하는 것.
• 순열 불변 함수 공간의 기하학에 맞춰진 새로운 증명 기법을 개발하는 것.

제안 방법

• 분석을 단순화하기 위해 순열 불변 함수와 그 기본 영역 위의 표현 간의 대응 관계를 수립한다.
• 불변 함수 클래스의 복잡도를 측정하기 위해 척도 민감도 메트릭 엔트로피를 도입한다.
• 라드마처 복잡도와 커버링 수 추론을 사용하여 √(n!)에 의존하는 일반화 경계를 유도한다.
• 주어진 제약 조건 하에서 불변 네트워크의 근사 오차가 최적의 속도에 도달함을 증명한다.
• 대칭화 및 순열군 이론을 활용하여 불변 함수 공간의 구조를 분석한다.
• ReLU 활성화의 특성을 활용하여 표현력을 유지하면서도 순열 불변성을 확보한다.

실험 결과

연구 질문

• RQ1 순열 불변성은 심층 신경망의 일반화 성능에 어떻게 영향을 미치는가?
• RQ2 구조적 제약에도 불구하고 순열 불변 네트워크는 최적의 근사 속도를 유지할 수 있는가?
• RQ3 일반화 갭이 순열되는 좌표 수 n에 대해 정확히 어떻게 의존하는가?
• RQ4 메트릭 엔트로피는 어떻게 순열 불변 함수 클래스를 분석하기 위해 적응시킬 수 있는가?
• RQ5 대칭적인 심층 학습 모델에서 일반화를 분석하기 위해 어떤 새로운 증명 기법이 필요한가?

주요 결과

• 순열 불변 심층 신경망의 일반화 갭은 순열되는 좌표 수 n에 따라 √(n!) 배 향상된다.
• 유도된 일반화 경계는 순열 불변성이 가설 공간의 복잡도를 감소시킴을 명시적으로 보여준다.
• 불변 네트워크의 근사 능력은 최적의 속도에 도달하여, 불변성으로 인한 표현 능력 손실이 없음을 시사한다.
• 기본 영역의 사용은 함수 공간의 기하학적 축소를 가능하게 하여 복잡도 분석을 단순화한다.
• 척도 민감도 메트릭 엔트로피는 순열 불변 함수 클래스의 복잡도를 정량화하는 데 성공적으로 적용되었다.
• 군 이론적 대응과 엔트로피 기반 경계를 포함한 새로운 증명 기법이 개발되었고 분석에서 검증되었다.