[논문 리뷰] On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds

Timm Faulwasser, Arne-Jens Hempel외 1명|arXiv (Cornell University)|2021. 01. 08.

Model Reduction and Neural Networks참고 문헌 25인용 수 4

한 줄 요약

이 논문은 전환점과 소산성 성질을 활용하여 딥 네ural 네트워크(DNNs)의 명시적 깊이 경계를 유도하기 위한 새로운 최적 제어 프레임워크를 제안한다. DNN 학습을 유한 시간 영역 최적 제어 문제(OCP)로 모델링하고 정규화를 통해 엄격한 소산성 조건을 부여함으로써, 수치적으로 검증된 분석적 계산이 가능한 깊이 경계를 도출한다. 두 루프 과제에서 비과도적인 추정치를 보이며, 특히 ℓ∞-노름 정규화를 사용할 경우 더욱 뚜렷하게 나타난다.

ABSTRACT

It is well-known that the training of Deep Neural Networks (DNN) can be formalized in the language of optimal control. In this context, this paper leverages classical turnpike properties of optimal control problems to attempt a quantifiable answer to the question of how many layers should be considered in a DNN. The underlying assumption is that the number of neurons per layer -- i.e., the width of the DNN -- is kept constant. Pursuing a different route than the classical analysis of approximation properties of sigmoidal functions, we prove explicit bounds on the required depths of DNNs based on asymptotic reachability assumptions and a dissipativity-inducing choice of the regularization terms in the training problem. Numerical results obtained for the two spiral task data set for classification indicate that the proposed estimates can provide non-conservative depth bounds.

연구 동기 및 목표

• 최근까지도 경험적으로 해결되지 않은 최적 DNN 깊이를 결정하는 문제를 정량적 설계 문제로 재정의함.
• 일정한 너비와 점근적 도달 가능성 가정 하에 DNN에 대해 명시적이고 분석적으로 유도된 깊이 경계를 제공함.
• 학습 OCP에서 엄격한 소산성을 유도하는 정규화 항을 설계하는 구조적 방법을 수립함.
• 분류 과제에서의 수치 실험을 통해 도출된 경계의 날카움과 실용적 관련성을 평가함.
• 특히 전환점 이론과 소산성 이론을 활용한 최적 제어 도구를 DNN 아키텍처 설계에 적용함으로써 시스템 이론과 딥 러닝을 연결함.

제안 방법

• 피드포워드 DNN의 학습을 유한 시간 영역 최적 제어 문제(OCP)로 공식화하며, 깊이를 이산적 시간 단위로 간주함.
• 전환점 이론을 적용하여 OCP 해의 중심에 위치한 안정된 영역을 식별함. 이는 네트워크의 최적 학습 경로에 해당함.
• 단계 비용에 정규화 항을 설계하여 OCP에 엄격한 소산성 조건을 도입함으로써 전환점의 존재를 보장함.
• 점근적 도달 가능성 가정과 소산성에 의해 유도된 OCP의 구조를 활용하여 명시적 깊이 경계를 도출함.
• 후행 깊이 추정을 계산하기 위해 두 가지 유형의 상태 페널티(ℓ2 및 ℓ∞)를 적용함. ℓ∞는 훨씬 더 날카운 경계를 도출함.
• 두 루프 과제에서 결과를 수치적으로 검증함. 경계를 실제 학습 성능과 수렴성과 비교함.

실험 결과

연구 질문

• RQ1 전환점 이론과 소산성 이론을 활용하여 DNN에 대해 명시적이고 비과도적인 깊이 경계를 도출할 수 있는가?
• RQ2 OCP 단계 비용에서 정규화의 선택이 도출된 깊이 경계에 어떤 영향을 미치는가?
• RQ3 유도된 깊이 경계는 날카롭고 실용적으로 의미 있는가? 특히 경험적 학습 행동과 비교할 때 어떻게 되는가?
• RQ4 ℓ∞-노름 정규화가 ℓ2보다 훨씬 더 날카운 깊이 추정치를 도출할 수 있는가? 특히 데이터셋 크기가 증가할수록 어떻게 되는가?
• RQ5 목표 상태에 대한 점근적 도달 가능성은 DNN에서 성공적인 분류를 위해 충분한가?

주요 결과

• 제안된 방법은 소산성 이론과 전환점 이론에 기반하여 DNN에 대해 명시적 깊이 경계를 도출하며, 이는 우리 지식으로는 최초의 분석적 유도이다.
• 단계 비용에 ℓ∞-노름 정규화를 적용할 경우, 두 루프 과제에서 깊이 추정치가 상당히 날카워지며, 데이터셋 크기가 증가하더라도 6.31에서 11.06 사이로 유지됨.
• 반면 ℓ2 기반 경계는 데이터셋 크기가 증가함에 따라 크게 증가하여 D=500일 경우 최대 6,830에 이를 정도로 표준 정규화 하에서는 스케일링이 불량함.
• 수치 결과는 후행 깊이 추정치가 과도하게 과도한 예측을 하지 않음을 보여주며, 최상의 추정치는 관측된 학습 행동과 매우 밀접하게 일치함.
• ℓ∞-노름 기반 경계는 노이즈가 있는 데이터에서도 안정적으로 유지되며 평균적으로 7~8의 범위에서 중심을 이룸. 이는 데이터 변형에 대한 강건성을 시사함.
• 본 연구는 목표 상태에 대한 도달 가능성은 분류에 충분하지만 필수적인 것은 아님을 밝혀내었으며, 향후 연구를 위한 더 일반적인 설정이 여전히 필요함을 시사함.