[논문 리뷰] How Many Samples are Needed to Estimate a Convolutional or Recurrent Neural Network?

Simon S. Du, Yining Wang외 4명|arXiv (Cornell University)|2018. 05. 21.

Neural Networks and Applications참고 문헌 65인용 수 9

한 줄 요약

이 논문은 컨volutional 신경망(CNNs)과 순환 신경망(RNNs)에 대한 표본 복잡도의 첫 번째 엄밀한 통계 분석을 제공하며, 그들의 표본 복잡도가 내재 차원에 선형적으로 비례함을 보여주며, 완전히 연결된 네트워크보다 훨씬 낮음을 확인한다. 국소화된 경험 과정 이론과 새로운 구조 레미마를 사용하여 저자들은 날카운 상한과 하한을 확립하며, CNNs와 RNNs에서의 가중치 공유가 높은 표본 효율성으로 이어짐을 확인한다.

ABSTRACT

It is widely believed that the practical success of Convolutional Neural Networks (CNNs) and Recurrent Neural Networks (RNNs) owes to the fact that CNNs and RNNs use a more compact parametric representation than their Fully-Connected Neural Network (FNN) counterparts, and consequently require fewer training examples to accurately estimate their parameters. We initiate the study of rigorously characterizing the sample-complexity of estimating CNNs and RNNs. We show that the sample-complexity to learn CNNs and RNNs scales linearly with their intrinsic dimension and this sample-complexity is much smaller than for their FNN counterparts. For both CNNs and RNNs, we also present lower bounds showing our sample complexities are tight up to logarithmic factors. Our main technical tools for deriving these results are a localized empirical process analysis and a new technical lemma characterizing the convolutional and recurrent structure. We believe that these tools may inspire further developments in understanding CNNs and RNNs.

연구 동기 및 목표

• CNNs와 RNNs의 표본 복잡도를 엄밀하게 특성화하여, 일반적으로 널리 퍼져 있는 관념인 '성공은 압축 표현 때문'이라는 믿음을 도전한다.
• CNNs와 RNNs가 구조적 인덕티브 바이어스 덕분에 완전히 연결된 네트워크(FNNs)보다 훨씬 적은 샘플을 필요로 함을 공식적으로 입증한다.
• CNNs와 RNNs의 통계적 행동을 분석하기 위한 새로운 이론적 도구—국소화된 경험 과정 분석과 구조 특화 레미마—를 개발한다.
• 추정 오차에 대한 날카운 상한과 하한을 확립하여, 유도된 표본 복잡도가 로그 요소를 제외하고 최적임을 보여준다.
• CNNs와 RNNs가 더 적은 데이터로 더 잘 일반화되는 이유에 대한 경험적 성공과 이론적 이해 사이의 격차를 메운다.

제안 방법

• 최소 제곱 추정 하에서 CNNs와 RNNs의 추정 오차를 분석하기 위해 국소화된 경험 과정 이론(van de Geer, 2000)을 응용한다.
• 가중치 공유 구조를 활용하기 위해 복소 필터에 대한 새로운 구조 레미마(Lemmas 9–10)와 순환 전이 행렬에 대한 다른 레미마(Lemma 11)를 도입한다.
• 추정 오차에 대한 상한을 도출한다: 단일 필터 CNN의 경우 $\widetilde{O}(\sqrt{m/n})$, 한 은닉층 CNN의 경우 $\widetilde{O}(\sqrt{(m+r)/n})$, RNN의 경우 $\widetilde{O}(\sqrt{dr/n})$.
• 일반화된 Fano의 부등식과 일정 무게 코드를 사용하는 이진 가설 검정 프레임워크를 통해 최소 최대 하한을 확립한다.
• 메트릭 엔트로피를 제어하고 표본 복잡도 비율을 도출하기 위해 커버링 추론과 노름 한계를 사용한다.
• 메트릭 엔트로피와 정밀도 $\epsilon'$로 제어되는 파rameter 공간의 유한 커버 위에서 유니온 바운드를 적용한다.

실험 결과

연구 질문

• RQ1 단일 복소 필터를 추정할 때, CNN의 표본 복잡도는 완전히 연결된 네트워크(FNN)와 비교해 어떻게 되는가?
• RQ2 공유 필터와 출력 가중치를 가진 한 은닉층 CNN을 추정할 때의 표본 복잡도는 무엇인가?
• RQ3 순차적 데이터를 모델링할 때, RNN의 표본 복잡도는 FNN과 비교해 어떻게 되는가?
• RQ4 CNNs와 RNNs에서의 가중치 공유의 통계적 이점은 공식적으로 정량화되고 날카운가?
• RQ5 구조적 신경망의 일반화 및 추정 행동을 엄밀히 분석하기 위해 필요한 새로운 이론적 도구는 무엇인가?

주요 결과

• 크기 $m$의 단일 복소 필터에 대해 CNN의 추정 오차는 $\widetilde{O}(\sqrt{m/n})$ 비례하며, $\epsilon$-오차를 달성하기 위해 단지 $\widetilde{O}(m/\epsilon^2)$개의 샘플이 필요하다.
• 반면, 해당 FNN은 $\Omega(d/\epsilon^2)$개의 샘플이 필요하며, 여기서 $d$는 입력 차원이다. 이는 $m \ll d$일 때 CNN이 더 표본 효율적임을 확인한다.
• 필터 크기 $m$과 $r$개의 출력 가중치를 가진 한 은닉층 CNN의 경우 오차율은 $\widetilde{O}(\sqrt{(m+r)/n})$이며, 이는 로그 요소를 제외하고 날카운이다.
• 입력 차원 $d$와 은닉 상태 차원 $r$을 가진 RNN의 경우 오차율은 $\widetilde{O}(\sqrt{dr/n})$이며, FNN의 경우 $Ld$개의 특징을 가지며, 일반적인 설정에서 $r \ll L \ll d$이다.
• 최소 최대 하한은 로그 요소를 제외하고 상한과 일치하여, 유도된 표본 복잡도 비율이 최적임을 입증한다.
• CNNs와 RNNs를 위한 구조 레미마는 가중치 공유의 인덕티브 바이어스를 포착하는 데 핵심적이며, 날카운 일반화 한계를 가능하게 한다.