[논문 리뷰] One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of Quadratic Networks

Fenglei Fan, Hangcheng Dong외 5명|arXiv (Cornell University)|2023. 03. 11.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 이차 신경망이 더 높은 성능을 내는 이유가 파rameter 수의 증가 때문이 아니라, 비선형 상호작용을 모델링하는 데 있어 내재된 표현 능력 덕분임을 입증한다. 이론적 분석과 실증적 검증을 통해 이차 네트워크가 파rameter 효율성을 보임을 보이며, 특히 원형 또는 다양체 구조를 가진 데이터(예: 이미지 세그멘테이션, 고장 진단)와 같은 작업에서 더 적은 파rameter로 더 높은 정확도를 달성함을 보여준다.

ABSTRACT

Inspired by neuronal diversity in the biological neural system, a plethora of studies proposed to design novel types of artificial neurons and introduce neuronal diversity into artificial neural networks. Recently proposed quadratic neuron, which replaces the inner-product operation in conventional neurons with a quadratic one, have achieved great success in many essential tasks. Despite the promising results of quadratic neurons, there is still an unresolved issue: extit{Is the superior performance of quadratic networks simply due to the increased parameters or due to the intrinsic expressive capability?} Without clarifying this issue, the performance of quadratic networks is always suspicious. Additionally, resolving this issue is reduced to finding killer applications of quadratic networks. In this paper, with theoretical and empirical studies, we show that quadratic networks enjoy parametric efficiency, thereby confirming that the superior performance of quadratic networks is due to the intrinsic expressive capability. This intrinsic expressive ability comes from that quadratic neurons can easily represent nonlinear interaction, while it is hard for conventional neurons. Theoretically, we derive the approximation efficiency of the quadratic network over conventional ones in terms of real space and manifolds. Moreover, from the perspective of the Barron space, we demonstrate that there exists a functional space whose functions can be approximated by quadratic networks in a dimension-free error, but the approximation error of conventional networks is dependent on dimensions. Empirically, experimental results on synthetic data, classic benchmarks, and real-world applications show that quadratic models broadly enjoy parametric efficiency, and the gain of efficiency depends on the task.

연구 동기 및 목표

• 이차 네트워크의 향상된 성능이 파rameter 수 증가 때문인지, 내재된 표현 능력 때문인지 규명하는 것.
• 기존 네트워크와 비교해 이차 네트워크가 뚜렷한 파rameter 효율성을 보이는 작업 유형을 특정하는 것.
• 이차 뉴런이 기존 뉴런보다 더 효율적으로 복잡한 함수를 근사할 수 있음을 이론적·실증적으로 검증하는 것.
• 비선형 상호작용과 다양체 구조를 가진 데이터를 포함한 작업에서 이차 네트워크를 실용적이고 효율적인 대안으로 정립하는 것.
• 단순한 파rameter 스케일링을 넘어서 이차 뉴런의 실용적 이점을 입증함으로써 딥 러닝에서 뉴런 다양성을 촉진하는 것.

제안 방법

• 이론적 분석을 통해 소볼레프 공간과 바론 공간을 이용한 근사 효율성 분석을 수행하여, 이차 네트워크의 치수에 관계없이 오차 경계를 도출함.
• 실공간 및 다양체 상에서 이차 네트워크의 근사 오차 경계를 유도하고, 기존 ReLU 네트워크와 비교함.
• 합성 데이터(동심 초구면, 가우시안 혼합), 벤치마크(ImageNet), 실세계 작업(세포 세그멘테이션, 농업 이미지 세그멘테이션)에 대한 실증적 평가.
• U-Net, PSPNet, Unet++과 같은 기존 아키텍처에 이차 뉴런을 통합하여 성능 및 파라미터 효율성 평가.
• 이차 항의 학습률을 제어함으로써 이차 네트워크의 학습 안정성을 높이기 위해 ReLinear 알고리즘을 활용.
• mIOU, F1, 정밀도, 재현율, 모델 크기 등의 지표를 사용해 파라미터 효율성을 정량화하는 모델 비교.

Figure 1: The architecture of using a quadratic network to approximate an arbitrary function $f$ in $F_{n,d}$ .

실험 결과

연구 질문

• RQ1 이차 네트워크의 향상된 성능이 파rameter 수 증가 때문인지, 내재된 표현 능력 때문인지?
• RQ2 이차 네트워크의 파라미터 효율성이 가장 두드러지게 드러나는 데이터 또는 작업 유형은 무엇인가?
• RQ3 이차 네트워크가 소볼레프 공간과 바론 공간의 함수를 기존 네트워크보다 더 효율적으로 근사할 수 있는가? 특히 고차원 설정에서?
• RQ4 이차 뉴런의 통합이 다양한 작업(합성, 벤치마크, 실세계 응용)에서 성능에 어떤 영향을 미치는가?
• RQ5 데이터 기하학(예: 원형 또는 다양체 구조를 가진 데이터)과 이차 네트워크의 파라미터 효율성 간의 관계는 무엇인가?

주요 결과

• 이차 네트워크는 원형 또는 다양체 구조를 가진 데이터를 포함한 작업에서 기존 네트워크보다 더 적은 파라미터로 훨씬 높은 정확도를 달성한다. 예를 들어 세포 및 잎 세그멘테이션 작업에서 그러한 성능을 보였다.
• CVPPP 잎 세그멘테이션 데이터셋에서 QUnet은 2445만 개의 파라미터로 83.40%의 mIOU를 기록했고, 표준 U-Net(2581만 개 파라미터, 80.58% mIOU)을 능가했다.
• rolling bearing 고장 진단 작업에서 이차 네트워크는 파라미터 수를 줄임과 동시에 높은 정확도를 달성하여 강력한 파라미터 효율성을 보였다.
• 이론적 분석 결과, 이차 네트워크는 소볼레프 공간 단위 구상에서 함수를 기존 네트워크보다 더 효율적으로 근사할 수 있으며, 특히 다양체 상에서 그러한 효율성이 두드러진다.
• 바론 공간 분석을 통해 이차 네트워크는 일부 함수를 치수에 관계없이 오차로 근사할 수 있음을 확인했고, 반면 기존 네트워크는 치수에 따라 오차가 증가하는 경향을 보였다.
• 파라미터 효율성은 동심 초구면, 가우시안 혼합, 농업 이미지 세그멘테이션과 같은 작업에서 가장 두드러지며, 연구의 순위 체계에서 최대 5개 별의 효율성을 기록했다.

Figure 2: An overview of using a quadratic network to approximate function $h$ on a manifold.