[논문 리뷰] Model Complexity of Deep Learning: A Survey

Xia Hu, Lingyang Chu외 3명|arXiv (Cornell University)|2021. 03. 08.

Machine Learning and Algorithms참고 문헌 94인용 수 6

한 줄 요약

이 종합 검토는 딥러닝 모델 복잡도를 표현 능력과 유효 복잡도로 분류하여, 모델 프레임워크, 크기, 최적화 및 데이터에 대한 의존성을 분석함으로써 복잡도에 대한 종합적인 개요를 제공한다. 주요 과제와 향후 방향성을 규명하며, 너비와 깊이의 한계, 유효 복잡도 측정, 모델 간 복잡도 비교와 같은 문제를 다룬다.

ABSTRACT

Model complexity is a fundamental problem in deep learning. In this paper we conduct a systematic overview of the latest studies on model complexity in deep learning. Model complexity of deep learning can be categorized into expressive capacity and effective model complexity. We review the existing studies on those two categories along four important factors, including model framework, model size, optimization process and data complexity. We also discuss the applications of deep learning model complexity including understanding model generalization, model optimization, and model selection and design. We conclude by proposing several interesting future directions.

연구 동기 및 목표

• 표현 능력과 일반화에 관한 근본적인 질문에 답하기 위해 최근 딥러닝 모델 복잡도의 발전을 체계적으로 검토하는 것.
• 모델 아키텍처, 크기, 최적화 역학, 데이터 복잡도와 같은 핵심 요소가 모델 복잡도에 미치는 영향을 식별하고 분석하는 것.
• 일반화 이해, 최적화 향상, 모델 선택 및 신경망 아키텍처 탐색을 위한 모델 복잡도의 응용을 탐색하는 것.
• 유효 복잡도 측정 및 딥러닝에서의 모델 간 복잡도 비교와 같은 열린 과제를 부각하는 것.

제안 방법

• 모델 프레임워크, 모델 크기, 최적화 과정, 데이터 복잡도의 네 가지 핵심 요소에 중점을 두고 딥러닝 모델 복잡도를 표현 능력과 유효 복잡도로 분류하는 것.
• VC 차원, 라데마처 복잡도, 조각별 선형 성질 등의 지표를 사용하여 표현 능력에 관한 최신 연구를 종합하는 것.
• 노름 기반 및 민감도 기반 측정법(예: 피셔-레이 메트릭, 학습 가능한 샘플 크기 포함)을 통해 유효 복잡도를 분석하는 것.
• 큰 표현 능력을 지닌 모델가 오히려 최적화의 암묵적 편향으로 인해 잘 일반화되는 '고용량 저실현' 현상을 조사하는 것.
• 네트워크 설계 공간 내에서 복잡도의 추정 분포를 사용하여 다양한 아키텍처 간 복잡도 비교 프레임워크를 제안하는 것.
• ENAS, DARTS 등 인기 있는 NAS 방법을 평가하며, 그들의 탐색 공간의 복잡도 분포를 대조하는 것.

실험 결과

연구 질문

• RQ1 모델 프레임워크, 크기, 최적화, 데이터 복잡도와 같은 요소들이 딥 뉴럴 네트워크의 표현 능력에 어떻게 영향을 미치는가?
• RQ2 유효 모델 복잡도는 어떻게 측정할 수 있으며, 일반화와 최적화에 대한 통찰을 제공하는가?
• RQ3 ReLU 및 다항식 네트워크에서 깊이와 너비 제약 조건에 따라 표현 능력에 어떤 한계가 존재하는가?
• RQ4 다양한 아키텍처(예: FCNN, CNN, RNN) 간에 모델 복잡도를 어떻게 비교하여 모델 선택 및 설계에 활용할 수 있는가?
• RQ5 모델 복잡도는 일반화 이해, 최적화 역학, 신경망 아키텍처 탐색에 어떤 역할을 하는가?

주요 결과

• 루 등과 한닌 및 셀스키의 연구에 따르면, 깊은 ReLU 네트워크에서 좁은 레이어는 총 파라미터 수가 많더라도 표현 능력을 심각하게 제한할 수 있다.
• 세라 등은 깊은 ReLU 네트워크에서 첫 번째 레이어가 좁을 경우 기능적 표현 능력에 봉쇄 효과가 발생하여 복잡한 함수를 표현할 수 없게 된다고 발견했다.
• 킬리얼 등은 깊은 다항식 네트워크에서 단일 좁은 레이어가 전체 네트워크의 기능 공간을 볼록하게 만들 수 없게 하여 최적화를 방해함을 입증했다.
• 노름 기반 및 민감도 기반 측정법과 같은 유효 복잡도 측정법은 등장하고 있으나 여전히 발전이 부족하고 유사한 모델들 간의 세밀한 구분 능력이 떨어진다.
• 모델 간 복잡도 비교는 아직 제한되어 있으나, 크룰코프 등은 FCNN, CNN, RNN에 대해 아키텍처를 텐서 분해와 연결함으로써 진전을 이룬 바 있다.
• ENAS 및 DARTS 등의 NAS 방법의 네트워크 설계 공간은 복잡도 분포에서 상당한 차이를 보이며, 이는 서로 다른 인덕티브 편향을 시사한다.