[論文レビュー] One Neuron Saved Is One Neuron Earned: On Parametric Efficiency of Quadratic Networks

Fenglei Fan, Hangcheng Dong+5 more|arXiv (Cornell University)|Mar 11, 2023

Neural Networks and Applications被引用数 6

ひとこと要約

本論文は、2次ニューラルネットワークが優れた性能を発揮するのはパrameter数の増加のおかげではなく、非線形相互作用をモデル化するための内蔵表現能力のおかげであることを示している。理論的分析と実証的検証を通じて、2次ネットワークがパrameter効率性を示すことが明らかになった。これは、より少ないパrameterで高い精度を達成できるというもので、特に円形または多様体構造を持つデータ、たとえば画像セグメンテーションや故障診断のタスクにおいて顕著である。

ABSTRACT

Inspired by neuronal diversity in the biological neural system, a plethora of studies proposed to design novel types of artificial neurons and introduce neuronal diversity into artificial neural networks. Recently proposed quadratic neuron, which replaces the inner-product operation in conventional neurons with a quadratic one, have achieved great success in many essential tasks. Despite the promising results of quadratic neurons, there is still an unresolved issue: extit{Is the superior performance of quadratic networks simply due to the increased parameters or due to the intrinsic expressive capability?} Without clarifying this issue, the performance of quadratic networks is always suspicious. Additionally, resolving this issue is reduced to finding killer applications of quadratic networks. In this paper, with theoretical and empirical studies, we show that quadratic networks enjoy parametric efficiency, thereby confirming that the superior performance of quadratic networks is due to the intrinsic expressive capability. This intrinsic expressive ability comes from that quadratic neurons can easily represent nonlinear interaction, while it is hard for conventional neurons. Theoretically, we derive the approximation efficiency of the quadratic network over conventional ones in terms of real space and manifolds. Moreover, from the perspective of the Barron space, we demonstrate that there exists a functional space whose functions can be approximated by quadratic networks in a dimension-free error, but the approximation error of conventional networks is dependent on dimensions. Empirically, experimental results on synthetic data, classic benchmarks, and real-world applications show that quadratic models broadly enjoy parametric efficiency, and the gain of efficiency depends on the task.

研究の動機と目的

• 2次ネットワークの優れた性能が、パrameter数の増加に起因するのか、それとも内蔵表現能力に起因するのかを特定すること。
• 従来のネットワークと比較して、2次ネットワークが顕著なパrameter効率性を示すタスクを同定すること。
• 2次ニューロンが従来のニューロンよりも複雑な関数をより効率的に近似できることを理論的および実証的に検証すること。
• 非線形相互作用や多様体構造を持つデータを扱うタスクにおいて、2次ネットワークを実用的で効率的な代替手段として確立すること。
• 単なるパrameterスケーリングを越えた実用的利点を示すことで、深層学習におけるニューロンの多様性を促進すること。

提案手法

• Sobolev空間とBarron空間を用いた近似効率の理論的分析により、2次ネットワークの次元に依存しない誤差バウンドを示した。
• 実空間および多様体上での2次ネットワークの近似誤差バウンドを導出し、従来のReLUネットワークと比較した。
• 合成データ（同心の超球、ガウス混合）、ベンチマーク（ImageNet）、および実世界のタスク（細胞セグメンテーション、農業画像セグメンテーション）を用いた実証的評価。
• U-Net、PSPNet、Unet++ といった既存アーキテクチャに2次ニューロンを統合し、性能とパrameter効率性を評価した。
• 2次項の学習率を制御することで2次ネットワークの学習を安定化させるReLinearアルゴリズムの使用。
• mIOU、F1、精度、再現率、モデルサイズなどの指標を用いて、パrameter効率性を定量化するためのモデル比較。

Figure 1: The architecture of using a quadratic network to approximate an arbitrary function $f$ in $F_{n,d}$ .

実験結果

リサーチクエスチョン

• RQ1 2次ネットワークの性能向上は、パrameter数の増加によるものか、それともその内蔵表現能力によるものか？
• RQ2 どの種類のデータやタスクにおいて、2次ネットワークのパrameter効率性が最も顕著に現れるか？
• RQ3 特に高次元設定において、2次ネットワークがSobolev空間およびBarron空間の関数を、従来のネットワークよりも効率的に近似できるか？
• RQ4 2次ニューロンの統合が、合成データ、ベンチマーク、実世界のアプリケーションを含む多様なタスクにおいて性能にどのように影響するか？
• RQ5 データの幾何構造（たとえば、円形または多様体構造を持つデータ）と2次ネットワークのパrameter効率性の関係は何か？

主な発見

• 2次ネットワークは、細胞や葉のセグメンテーションといった円形または多様体構造を持つデータを含むタスクにおいて、パrameter数を減らしても従来のネットワークよりも顕著に高い精度を達成する。
• CVPPPの葉セグメンテーションデータセットでは、QUnetが2445万パラメータで83.40%のmIOUを達成し、標準U-Net（2581万パラメータ、80.58% mIOU）を上回った。
• 軸受の故障診断において、2次ネットワークはパrameter数を削減しながらも高い精度を達成しており、強力なパrameter効率性を示している。
• 理論的分析により、2次ネットワークはSobolev空間の単位球内にある関数を、従来のネットワークよりも効率的に近似できることを示した。特に多様体上では顕著である。
• Barron空間の分析により、2次ネットワークは特定の関数を次元に依存しない誤差で近似できることを確認した。一方、従来のネットワークは次元に依存する誤差の増大を示した。
• パrameter効率性は、同心の超球、ガウス混合、農業画像セグメンテーションといったタスクで最も顕著であり、研究のランク付けでは最大5つ星の効率性を記録した。

Figure 2: An overview of using a quadratic network to approximate function $h$ on a manifold.