Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] On Expressivity and Trainability of Quadratic Networks

Fenglei Fan, Mengzhou Li|arXiv (Cornell University)|2021. 10. 12.
Model Reduction and Neural Networks참고 문헌 39인용 수 4
한 줄 요약

이 논문은 스퍼링 이론과 대수기하학을 활용하여 일반적인 네트워크 및 ReLU 활성화를 갖춘 네트워크에 비해 이차 신경망의 뛰어난 표현 능력을 이론적으로 입증한다. 또한, 이차 가중치를 재초기화하여 학습을 안정화시키는 새로운 학습 전략인 ReLinear를 제안하며, CIFAR-10 및 KITTI와 같은 이미지 분류 및 깊이 추정 벤치마크에서 성능을 크게 향상시킨다.

ABSTRACT

Inspired by the diversity of biological neurons, quadratic artificial neurons can play an important role in deep learning models. The type of quadratic neurons of our interest replaces the inner-product operation in the conventional neuron with a quadratic function. Despite promising results so far achieved by networks of quadratic neurons, there are important issues not well addressed. Theoretically, the superior expressivity of a quadratic network over either a conventional network or a conventional network via quadratic activation is not fully elucidated, which makes the use of quadratic networks not well grounded. Practically, although a quadratic network can be trained via generic backpropagation, it can be subject to a higher risk of collapse than the conventional counterpart. To address these issues, we first apply the spline theory and a measure from algebraic geometry to give two theorems that demonstrate better model expressivity of a quadratic network than the conventional counterpart with or without quadratic activation. Then, we propose an effective training strategy referred to as ReLinear to stabilize the training process of a quadratic network, thereby unleashing the full potential in its associated machine learning tasks. Comprehensive experiments on popular datasets are performed to support our findings and confirm the performance of quadratic deep learning. We have shared our code in \url{https://github.com/FengleiFan/ReLinear}.

연구 동기 및 목표

  • 이차 네트워크가 동일한 아키텍처 조건에서 일반 네트워크 및 ReLU 활성화를 갖춘 일반 네트워크보다 더 높은 모델 표현 능력을 가졌음을 이론적으로 입증하는 것.
  • 고차 다항식 출력으로 인해 이차 네트워크에서 학습 중에 발생하는 불안정성과 붕괴 위험을 해결하는 것.
  • 이차 네트워크의 안정적 최적화를 가능하게 하는 실용적이고 효과적인 학습 전략을 개발하는 것.
  • 이론적 주장과 제안된 방법의 효과성을 다양한 기계학습 과제에서 경험적으로 검증하는 것.
  • 기존 모델(예: LapDepth)에 있는 일반 신경망을 이차 신경망으로 교체함으로써 성능 향상이 측정 가능한지 보여주는 것.

제안 방법

  • 스플라인 이론을 사용하여 동일한 아키텍처 조건에서 이차 네트워크가 일반 네트워크보다 더 높은 표현 능력을 갖는 함수를 표현할 수 있음을 증명한다.
  • 대수기하학에서 유도된 측도를 적용하여 이차 네트워크와 ReLU 활성화를 갖춘 일반 네트워크 간의 표현 능력을 비교한다.
  • 이차 가중치 행렬을 0으로 재초기화하고 선형 가중치를 재초기화하여 학습을 안정화시키는 ReLinear 전략을 제안한다.
  • 이차 가중치를 0으로 재초기화하고 선형 가중치에는 Kaiming 초기화를 적용하여 기울기 폭주와 출력 진동을 줄인다.
  • AdamW, 학습률 감소, 배치 정규화를 포함한 표준 딥러닝 학습 프로토콜을 사용하며, ReLinear는 오직 이차 레이어에만 적용된다.
  • 이중 네트워크를 사용한 ResNeXt 및 LapDepth의 일반 신경망을 이차 신경망으로 교체하여 이미지 분류(CIFAR-10, CIFAR-100) 및 깊이 추정(KITTI)에서 검증한다.
Figure 1: Illustration of why oscillation occurs in quadratic networks. The network structure is 1-10-10-10-10-1, and the activation function is ReLU. All parameters of the quadratic and conventional networks are initialized with the normal distribution $\mathcal{N}(0,\sigma^{2})$ , where $\sigma$ i
Figure 1: Illustration of why oscillation occurs in quadratic networks. The network structure is 1-10-10-10-10-1, and the activation function is ReLU. All parameters of the quadratic and conventional networks are initialized with the normal distribution $\mathcal{N}(0,\sigma^{2})$ , where $\sigma$ i

실험 결과

연구 질문

  • RQ1동일한 아키텍처 조건에서 일반 네트워크나 ReLU 활성화를 갖춘 일반 네트워크가 표현할 수 없는 함수를 이차 네트워크가 표현할 수 있는가?
  • RQ2이차 네트워크가 일반 모델 및 ReLU 활성화 모델보다 뛰어난 표현 능력을 갖는 데 기여하는 이론적 메커니즘은 무엇인가?
  • RQ3왜 이차 네트워크는 일반 네트워크보다 더 높은 학습 불안정성과 붕괴 위험을 보이는가?
  • RQ4ReLinear와 같은 단순한 재초기화 전략이 아키텍처 수정 없이도 이차 네트워크의 학습을 효과적으로 안정화시킬 수 있는가?
  • RQ5기존 모델에 있는 일반 신경망을 이차 신경망으로 교체하면 실제 과제에서 측정 가능한 성능 향상이 이루어지는가?

주요 결과

  • 스플라인 이론과 대수기하학을 활용한 이론적 분석을 통해 이차 네트워크가 일반 네트워크 및 ReLU 활성화를 갖춘 일반 네트워크보다 더 높은 표현 능력을 갖는 것으로 확인된다.
  • 이차 네트워크는 다항식 크기의 아키텍처로 특정 함수를 표현할 수 있지만, 일반 네트워크는 동일한 근사치를 위해 지수적으로 더 큰 아키텍처가 필요하다.
  • 일변수 분석 결과, 이차 네트워크에서 가중치 초기화 분산의 미세한 변화가 출력에 막대한 영향을 미치며, 이는 학습 불안정성의 원인을 설명한다.
  • CIFAR-10에서 ReLinear 정규화된 이차 네트워크는 테스트 정확도 95.8%를 달성하여 기준 일반 네트워크를 초월한다.
  • KITTI 깊이 추정 벤치마크에서 Quadratic-LapDepth는 Sq Rel을 기준 LapDepth의 0.214에서 0.200으로 감소시키고, RMSE를 0.458에서 0.427로 개선했다.
  • 제안된 ReLinear 전략은 학습을 효과적으로 안정화시키며, 아키텍처 수정 없이도 다양한 과제에서 최고 성능을 달성하는 데 기여한다.
Figure 2: The performance of a quadratic network trained using the proposed ReLinear method, with an observed improvement than the conventional network of the same structure. $(\gamma_{g},\gamma_{b})$ , $(\alpha_{g},\alpha_{b})$ , and $(\beta_{g},\beta_{b})$ are hyperparameters of ReLinear . As thes
Figure 2: The performance of a quadratic network trained using the proposed ReLinear method, with an observed improvement than the conventional network of the same structure. $(\gamma_{g},\gamma_{b})$ , $(\alpha_{g},\alpha_{b})$ , and $(\beta_{g},\beta_{b})$ are hyperparameters of ReLinear . As thes

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.