[논문 리뷰] Implicit Rugosity Regularization via Data Augmentation

Daniel LeJeune, Randall Balestriero외 2명|arXiv (Cornell University)|2019. 05. 28.

Machine Learning and Data Classification참고 문헌 40인용 수 8

한 줄 요약

이 논문은 깊이 신경망 함수의 '거칠기'를 측정하기 위해 탄성 헤시안을 기반으로 한 새로운 거칠기 측정법을 제안하며, 데이터 증강이 이 거칠기를 암묵적으로 정규화함을 보여준다. 데이터 증강이 이 거칠기 측정법에 대해 암묵적인 정규화를 유도함을 공식적으로 연결하고, 실험적으로 암묵적(증강을 통한) 및 명시적 거칠기 정규화가 일반화를 향상시킴을 입증한다. 그러나 명시적 정규화만으로는 증강이 제공하는 추가적인 암묵적 이점으로 인해 증강에 뒤지게 된다.

ABSTRACT

Deep (neural) networks have been applied productively in a wide range of supervised and unsupervised learning tasks. Unlike classical machine learning algorithms, deep networks typically operate in the \emph{overparameterized} regime, where the number of parameters is larger than the number of training data points. Consequently, understanding the generalization properties and the role of (explicit or implicit) regularization in these networks is of great importance. In this work, we explore how the oft-used heuristic of \emph{data augmentation} imposes an {\em implicit regularization} penalty of a novel measure of the \emph{rugosity} or "roughness" based on the tangent Hessian of the function fit to the training data.

연구 동기 및 목표

• 깊이 신경망에서 국소 선형성에서의 이탈을 측정하는 함수 복잡도의 새로운 측정법—거칠기—를 개발하는 것.
• 넓이 쓰이는 히우리스틱인 데이터 증강을 이 거칠기 측정법에 대한 암묵적 정규화와 공식적으로 연결하는 것.
• 데이터 증강과 비교하여 명시적 거칠기 정규화가 깊이 신경망의 일반화 성능을 향상시키는지 평가하는 것.
• 거칠기를 깊이 신경망 일반화의 유일한 복잡도 측정법으로 사용할 때의 한계를 분석하는 것.

제안 방법

• 논문은 네트워크 출력의 탄성 헤시안을 사용해 거칠기를 정의하며, 데이터 다양체 위에서 함수가 국소 선형성에서 얼마나 이탈하는지를 측정한다.
• 유한 차분을 사용해 벡터 양자화(VQ) 영역 간의 거칠기 측정법을 조각별 애프린 함수(예: ReLU 네트워크)에 확장한다.
• 깊이 신경망을 연속적이고 조각별 애프린 함수로 모델링하며, 각 VQ 영역는 행렬 A[x]와 b[x]로 정의된 애프린 매핑을 갖는다.
• 탄성 헤시안의 Lp 노름을 사용해 명시적 거칠기 정규화 페널티를 제안하며, 이 복잡도 제약 조건을 고려한 최적화를 가능하게 한다.
• 헤시안 고유맵과 다양체 기반 분석을 활용해 데이터의 기하적 성질과 함수의 매끄러움을 연결한다.
• 실험적으로 명시적 거칠기 정규화와 데이터 증강 간의 일반화 성능를 비교하며, 테스트 정확도와 거칠기 측정법을 사용한다.

실험 결과

연구 질문

• RQ1 데이터 증강은 깊이 신경망 함수의 거칠기를 어떻게 암묵적으로 정규화하는가?
• RQ2 유한 차분을 사용해 거칠기를 조각별 애프린 깊이 신경망으로 공식적으로 정의하고 확장할 수 있는가?
• RQ3 명시적 거칠기 정규화는 깊이 신경망의 일반화 성능을 향상시키는가? 그리고 데이터 증강과 비교해보면 어떠한가?
• RQ4 거칠기를 깊이 신경망 일반화의 복잡도 측정법으로 사용할 때의 한계는 무엇인가?

주요 결과

• 데이터 증강은 탄성 헤시안의 Lp 노름으로 측정된 깊이 신경망의 거칠기를 암묵적으로 감소시킨다.
• 명시적 거칠기 정규화는 함수의 거칠기를 줄이지만, 데이터 증강에 비해 낮은 테스트 정확도를 보이며, 증강이 제공하는 추가적인 암묵적 이점이 있음을 시사한다.
• 무한한 너비의 네트워크에서도 거칠기 측정법은 유한하게 유지되며, VQ 영역의 수는 무한해질 수 있으나, 이는 더 견고한 복잡도 지표임을 의미한다.
• 출력을 작은 값으로 스케일링하면 거칠기는 임의로 작아질 수 있으나, 깨끗한 데이터에선 분류 성능을 유지할 수 있다. 그러나 노이즈가 있는 입력에서는 결정 경계가 불안정해져 일반화 성능이 떨어진다.
• 학습 데이터를 완벽하게 보간하면서도 일반화 성능이 열악한 함수를 구성할 수 있으며, 이는 일부 복잡도 측정법의 한계를 드러낸다.
• 적당한 크기의 p에 대해 일반화된 거칠기 측정법 Cp(f)는 C₁(f)에서 관찰된 병리적 행동을 피하며, 깊이 신경망 일반화 분석에 더 적합함을 시사한다.