[논문 리뷰] Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks

Noam Razin, Asaf Maman외 1명|arXiv (Cornell University)|2022. 01. 27.

Tensor decomposition and applications인용 수 4

한 줄 요약

이 논문은 계층적 텐서 분해 — 딥 컨volution 신경망과 동치인 모델 — 에서의 경사 하강법이 저항성 계층 텐서 랭크 향한 암묵적 정규화를 유도함을 밝혀내며, 이는 관련 네트워크에서 국소성에 해당한다. 이론적 분석은 局부 요소들에서 유사 운동량 역학을 드러내며, 실증적 검증은 국소성에 반대하는 정규화를 명시적으로 시행할 경우 비국소 작업에서 성능 향상이 이루어짐을 보여주어 기존의 아키텍처 설계 원칙에 도전한다.

ABSTRACT

In the pursuit of explaining implicit regularization in deep learning, prominent focus was given to matrix and tensor factorizations, which correspond to simplified neural networks. It was shown that these models exhibit an implicit tendency towards low matrix and tensor ranks, respectively. Drawing closer to practical deep learning, the current paper theoretically analyzes the implicit regularization in hierarchical tensor factorization, a model equivalent to certain deep convolutional neural networks. Through a dynamical systems lens, we overcome challenges associated with hierarchy, and establish implicit regularization towards low hierarchical tensor rank. This translates to an implicit regularization towards locality for the associated convolutional networks. Inspired by our theory, we design explicit regularization discouraging locality, and demonstrate its ability to improve the performance of modern convolutional networks on non-local tasks, in defiance of conventional wisdom by which architectural changes are needed. Our work highlights the potential of enhancing neural networks via theoretical analysis of their implicit regularization.

연구 동기 및 목표

• 계층적 텐서 분해에서의 암묵적 정규화를 이론적으로 분석하는 것 — 이는 딥 컨volution 신경망과 동치인 모델이다.
• 표현 능력 제한을 넘어서 컨volution 신경망이 장거리 의존성을 다루기 어려운 이유를 이해하는 것.
• 저항성 계층 텐서 랭크 향한 암묵적 편향이 학습된 표현에서 국소성으로 이어짐을 보여주는 것.
• 이 암묵적 편향을 억제하는 명시적 정규화를 설계하고 검증하여 비국소 작업에서의 성능 향상에 기여하는 것.

제안 방법

• 동역학 시스템 접근법을 사용하여 계층적 텐서 분해에서의 경사 하강법 역학을 분석한다.
• 계층적 구조 내 국소 요소들을 식별하고, 작은 학습률과 근처 영점 초기화 조건 하에서의 진화를 특성화한다.
• 국소 요소들에서 운동량 유사 효과를 확립하여 점진적 학습을 유도하며, 이는 저항성 계층 텐서 랭크를 선호하게 한다.
• 계층적 텐서 랭크를 컨볼루션 네트워크에서의 국소성과 연결하며, 저랭크는 짧은 범위의 의존성을 의미함을 설명한다.
• 계층적 분해에서 고랭크 성분을 페널티 처리함으로써 국소성을 억제하는 명시적 정규화를 제안한다.
• 현대 컨볼루션 네트워크에서 이 방법을 실증적으로 검증하여 비국소 작업에서 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 경사 하강법은 계층적 텐서 분해에서 어떤 암묵적 인도적 편향을 유도하는가?
• RQ2 계층적 텐서 랭크는 해당 컨볼루션 신경망에서 국소성과 어떻게 관련되는가?
• RQ3 국소성 향한 암묵적 편향을 명시적으로 상쇄시킬 수 있는가? 이는 비국소 작업에서의 성능 향상에 기여하는가?
• RQ4 계층적 분해에서 국소 요소들의 유사 운동량 역학이 저랭크 해법을 설명하는가?
• RQ5 딥, 비선형, 계층적 모델에서 암묵적 정규화의 이론적 메커니즘은 무엇인가?

주요 결과

• 계층적 텐서 분해에서의 경사 하강법은 국소 요소들에서 유사 운동량 역학으로 인해 저항성 계층 텐서 랭크 향한 암묵적 정규화를 유도한다.
• 저항성 계층 텐서 랭크는 입력에서 단거리(국소적) 의존성만 모델링하는 데에 편향을 줌을 의미하며, 이는 CNNs가 장거리 작업에서 성능이 열등한 이유를 설명한다.
• 국소성을 억제하는 명시적 정규화는 현대 컨볼루션 네트워크의 비국소 작업 성능 향상에 기여하며, 기존 아키텍처 변경이 반드시 필요하다는 전제를 도전한다.
• 이론적 분석은 암묵적 편향이 노름 최소화 때문이 아니라, 성분 크기 역학에 의해 이끌리는 점진적 학습 때문임을 확인한다.
• 실증 결과는 비국소성 정규화가 이미지 생성 및 세그멘테이션과 같은 장거리 추론이 필요한 작업에서 일반화 능력을 향상시킴을 검증한다.