[논문 리뷰] Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers

Colin Wei, Yining Chen외 1명|arXiv (Cornell University)|2021. 07. 28.

Neural Networks and Applications참고 문헌 53인용 수 6

한 줄 요약

이 논문은 유한한 데이터로부터 낮은 표본 복잡도로 타겟 함수를 학습할 수 있도록 보장하는 새로운 이론적 프레임워크인 통계적으로 의미 있는 (SM) 근사법을 소개한다. 이는 오버파라미터화된 피드포워드 네트워크와 트랜스포머가 각각 부울 회로와 튜링 기계를 다항식 복잡도로 SM-근사할 수 있음을 보여주며, 이는 회로/튜링 기계의 크기와 계산 시간의 로그에 비례하는 표본 복잡도를 갖는다. 이는 기존의 VC 또는 노름 기반 방법보다 뛰어난 일반화 한계를 사용한 새로운 일반화 한계를 통해 달성된다.

ABSTRACT

A common lens to theoretically study neural net architectures is to analyze the functions they can approximate. However, constructions from approximation theory may be unrealistic and therefore less meaningful. For example, a common unrealistic trick is to encode target function values using infinite precision. To address these issues, this work proposes a formal definition of statistically meaningful (SM) approximation which requires the approximating network to exhibit good statistical learnability. We study SM approximation for two function classes: boolean circuits and Turing machines. We show that overparameterized feedforward neural nets can SM approximate boolean circuits with sample complexity depending only polynomially on the circuit size, not the size of the network. In addition, we show that transformers can SM approximate Turing machines with computation time bounded by $T$ with sample complexity polynomial in the alphabet size, state space size, and $\log (T)$. We also introduce new tools for analyzing generalization which provide much tighter sample complexities than the typical VC-dimension or norm-based bounds, which may be of independent interest.

연구 동기 및 목표

• 유니버설 근사 이론과 실질적인 딥러닝 간의 괴리를 해결하기 위해, 근사 네트워크가 유한한 데이터로부터 통계적으로 학습 가능하도록 요구한다.
• 좋은 일반화와 낮은 표본 복잡도를 보장하는 새로운 근사 개념인 통계적으로 의미 있는 (SM) 근사법을 체계화한다.
• 오버파라미터화된 신경망과 트랜스포머를 사용하여 부울 회로와 튜링 기계를 근사할 때의 표본 복잡도를 분석한다.
• 네트워크의 폭이나 파라미터 수가 아닌 문제의 본질적 크기에 따라 의존하는 더 날카운 일반화 한계를 개발한다.
• 이전 연구에서 나타난 무한 정밀도 구성의 문제를 해결하기 위해 유한 정밀도, 유한 표본 학습에 초점을 맞춘다.

제안 방법

• 통계적으로 의미 있는 (SM) 근사의 형식적 정의를 제안하며, 이는 근사 가족 내에서 경험적 리스크 최소화자가 높은 확률로 낮은 근사 오차를 달성하도록 요구한다.
• 타겟 함수의 본질적 복잡도(예: 회로 크기 또는 튜링 기계의 파라미터)에 따라 의존하는 새로운 일반화 한계 프레임워크를 도입한다. 이는 근사 네트워크의 크기와는 무관하다.
• 이 프레임워크를 적용하여 오버파라미터화된 피드포워드 네트워크가 부울 회로를 근사할 때 표본 복잡도가 회로 크기에 다항식으로 의존하고 깊이에 로그로 의존함을 보여준다.
• 계산 시간 T가 유한한 튜링 기계를 근사할 수 있는 인코더-디코더 트랜스포머를 구축하며, 표본 복잡도가 알파벳 크기, 상태 공간 크기, log(T)에 다항식으로 의존함을 확보한다.
• 잔차 연결과 어텐션 메커니즘의 안정성 및 민감도 분석을 통해 파라미터 변화에 따른 은닉 상태와 출력의 변동을 제한한다.
• 활성화 함수와 피드포워드 레이어 등의 네트워크 구성 요소의 리프시츠 연속성 조건을 활용하여 파라미터 변화에 따른 오차 전파 한계를 유도한다.

실험 결과

연구 질문

• RQ1 신경망은 유한한 데이터로부터 학습 가능한 방식으로 부울 회로를 근사할 수 있는가?
• RQ2 계산 시간이 유한한 트랜스포머는 문제 크기에 비례하여 합리적인 표본 복잡도로 튜링 기계를 시뮬레이션할 수 있는가?
• RQ3 기존의 일반화 한계(예: VC 차원 또는 노름 기반)는 실질적인 딥러닝 모델의 진정한 표본 복잡도를 포괄하지 못하는가?
• RQ4 표현력과 통계적 학습 가능성 둘 다를 보장하는 근사 개념을 정의할 수 있는가? 이는 무한 정밀도나 지수적 수의 파라미터에 의존하지 않는다.
• RQ5 현대 아키텍처인 트랜스포머를 사용하여 튜링 기계와 같은 복잡한 계산 모델을 근사할 때 가능한 가장 날카운 일반화 한계는 무엇인가?

주요 결과

• 오버파라미터화된 피드포워드 네트워크는 네트워크의 폭이나 파라미터 수에 관계없이 회로 크기에만 의존하는 표본 복잡도로 부울 회로를 SM-근사할 수 있다.
• 트랜스포머는 계산 시간이 T 이하로 제한된 튜링 기계를 근사할 수 있으며, 표본 복잡도는 알파벳 크기, 상태 공간 크기, log(T)에 다항식으로 의존한다.
• 제안된 일반화 한계는 특히 깊거나 오버파라미터화된 네트워크의 경우 기존의 VC 차원 또는 노름 기반 한계보다 훨씬 날카롭다.
• 분석 결과, 이전 연구에서 나타난 무한 정밀도 구성은 현실적으로 불가능하며, 스트리밍 메모리 제약으로 인해 유한 정밀도, 유한 폭의 네트워크는 튜링 기계를 시뮬레이션할 수 없다.
• 카운팅 추론을 통해 하위선형 파라미터를 가진 유한 정밀도 네트워크가 임의의 레이블링을 기억할 수 없음을 확인하여, 무한 정밀도에 기반한 주장의 근거를 뒤엎는다.
• 이 프레임워크는 유한 표본에서 타겟 함수를 피팅할 때의 통계적 우려를 성공적으로 제거하며, 단지 표현력이 아닌 학습 가능성에 초점을 맞춘다.