[논문 리뷰] Regularization for Deep Learning: A Taxonomy

Jan Kukačka, Vladimir Golkov외 1명|arXiv (Cornell University)|2017. 10. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 186

한 줄 요약

본 논문은 딥 러닝의 정규화 방법에 대한 통합 분류학을 제시하고, 데이터, 아키텍처, 오차 항, 정규화 항, 최적화에 따라 접근법을 분류하며, 실용적인 가이드를 제공합니다.

ABSTRACT

Regularization is one of the crucial ingredients of deep learning, yet the term regularization has various definitions, and regularization methods are often studied separately from each other. In our work we present a systematic, unifying taxonomy to categorize existing methods. We distinguish methods that affect data, network architectures, error terms, regularization terms, and optimization procedures. We do not provide all details about the listed methods; instead, we present an overview of how the methods can be sorted into meaningful categories and sub-categories. This helps revealing links and fundamental similarities between them. Finally, we include practical recommendations both for users and for developers of new regularization methods.

연구 동기 및 목표

• 딥 러닝의 정규화 방법들을 체계적이고 통합된 프레임워크로 분류하기 위한 제시.
• 데이터, 아키텍처, 손실, 최적화 구성 요소 간의 서로 다른 정규화 기법의 관계를 명확히 한다.
• 정규화 전략을 설계하는 연구자 및 개발자를 위한 실용적인 권고를 제공한다.
• 겉으로 서로 다른 것처럼 보이는 정규화 방법들 사이의 연결고리와 공통 원칙을 강조한다.

제안 방법

• 정규화 방법을 다섯 가지 주요 축으로 구성한다: 데이터, 네트워크 아키텍처, 오차 항, 정규화 항, 그리고 최적화 절차.
• 방법 간의 연계와 근본적 유사성을 드러내기 위해 하위 범주를 가진 작동하는 분류체계를 정의한다.
• 데이터 기반 변환, 증강 및 타깃 보존 증강을 핵심 정규화 메커니즘으로 논의한다.
• 가중치, 입력, 출력에 대한 의존성과 학습/테스트 단계와 같은 단계에 따른 정규화 계의 분류 프레임워크를 제시한다.
• 포괄적 구현 세부 정보보다는 고수준의 서술과 분류를 제공한다.

실험 결과

연구 질문

• RQ1 딥 러닝의 정규화 기법을 어떻게 체계적으로 의미 있는 그룹으로 분류할 수 있는가?
• RQ2 전통적으로 서로 다른 방식으로 다루어지는 데이터, 아키텍처, 손실, 최적화 간의 연결고리와 공통점은 무엇인가?
• RQ3 정규화 방법을 선택하고 설계하는 실무자와 개발자를 위한 구체적인 실용 지침은 무엇인가?
• RQ4 비라벨 데이터와 준감독 학습 접근법을 정규화 프레임워크에 어떻게 통합할 수 있는가?

주요 결과

• 데이터, 아키텍처, 오차 항, 정규화 항, 그리고 최적화 절차로 정규화 방법을 묶는 통합 분류체계를 제안한다.
• 많은 기법들(예: 데이터 증강, 드롭아웃, 배치 정규화)이 공통의 데이터 기반 정규화 프레임워크 아래에서 이해될 수 있음을 보인다.
• 정규화가 타깃과 독립적인 정규화 기구를 통해 비라벨 데이터로부터 이점을 얻어 준감독 접근을 가능하게 함을 시사한다.
• 정규화 기법의 선택과 조합에 관한 사용자 및 개발자를 위한 실용적 권고를 제공한다.
• 겉으로 서로 다른 것으로 보이는 방법들 사이의 구조적 연결고리를 드러내며, 특정 기술이 언제 왜 일반화의 정규화를 하는지 명확히 한다.