[論文レビュー] $\Pi-$nets: Deep Polynomial Neural Networks

Grigorios G. Chrysos, Stylianos Moschoglou+4 more|arXiv (Cornell University)|Mar 8, 2020

Advanced Neural Network Applications参考文献 62被引用数 4

ひとこと要約

本稿では、特別なスキップ接続を用いて入力の高次多項式関数を表現する新しいクラスの深層畳み込みニューラルネットワーク、$Π$-Netsを紹介する。これにより、非線形活性化関数に依存せずに強力な表現学習が可能となる。この手法は、パrameter数が少ないにもかかわらず、画像生成および分類タスクで最先端の性能を達成し、StyleGANなどのモデルの成功を多項式表現力によって説明する。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) is currently the method of choice both for generative, as well as for discriminative learning in computer vision and machine learning. The success of DCNNs can be attributed to the careful selection of their building blocks (e.g., residual blocks, rectifiers, sophisticated normalization schemes, to mention but a few). In this paper, we propose $\\Pi$-Nets, a new class of DCNNs. $\\Pi$-Nets are polynomial neural networks, i.e., the output is a high-order polynomial of the input. $\\Pi$-Nets can be implemented using special kind of skip connections and their parameters can be represented via high-order tensors. We empirically demonstrate that $\\Pi$-Nets have better representation power than standard DCNNs and they even produce good results without the use of non-linear activation functions in a large battery of tasks and signals, i.e., images, graphs, and audio. When used in conjunction with activation functions, $\\Pi$-Nets produce state-of-the-art results in challenging tasks, such as image generation. Lastly, our framework elucidates why recent generative models, such as StyleGAN, improve upon their predecessors, e.g., ProGAN.

研究の動機と目的

• 多項式関数近似を用いて表現力の向上を図る新しいクラスの深層ニューラルネットワークの開発。
• StyleGANのような最近の生成モデルの成功を、そのスキップ接続を高次多項式的挙動を誘発するものとして形式化することで説明すること。
• 非線形活性化関数を用いずに、生成的および判別的タスクの両方で強力な性能を達成できる多項式ネットワークの実証。
• 特別なスキップ接続を用いてテンソル分解を介して高次多項式を効率的にパラメータ化すること。
• 従来のアーキテクチャを最小限の変更で、標準的な層を$Π$-Netコンponentsに置き換えることで顕著な性能向上が達成できることの示唆。

提案手法

• コアなメカニズムは、入力の高次多項式関数としてのネットワーク出力を可能にする特殊なタイプのスキップ接続であり、直接的な多項式パラメータ化によるパラメータ爆発を回避する。
• アーキテクチャは、構造化されたテンソル分解から導かれるテンソリアル要因を用いて構築され、多項式項を効率的に表現する。
• 標準的な深層ネットワークのパラダイムを一般化し、活性化関数の代わりにスキップ接続による合成的多項式展開を導入する。
• このフレームワークは、画像分類などの判別的タスクおよびGANなどの生成的タスクに適用可能であり、アーキテクチャの変更を最小限に抑える。
• スパイラル畳み込みを用いてグラフベースのタスクへ拡張し、多項式層をメッシュおよびグラフ信号に適用する。
• ResNetやGNNsのような既存モデルを多項式表現力へとアップグレードできる、プラグアンドプレイ型の演算子ProdPolyを導入。

実験結果

リサーチクエスチョン

• RQ1 非線形活性化関数に依存せずに、多項式関数近似を活用することで、深層ニューラルネットワークが強力な性能を達成できるか？
• RQ2 StyleGANのようなモデルにおけるスキップ接続は、生成性能の向上にどのように寄与しているのか？ そして、これを多項式展開として形式化できるか？
• RQ3 過剰なパラメータ増加を伴わずに、深層ネットワークにおける高次多項式表現を効率的にパラメータ化できるか？
• RQ4 既存の最先端モデルを、標準的な層の代わりに多項式対応の層に置き換えることで、どの程度向上できるか？
• RQ5 多項式表現力は、画像、音声、3次元メッシュなど多様な信号において性能向上をもたらすか？

主な発見

• Prodpoly-ResNet50は、モデルサイズと計算量のわずかな増加で、Top-5検証誤差6.358%を達成し、標準的なResNet50（6.838%）を上回る性能を示した。
• 3次元メッシュの自己符号化タスクにおいて、ProdPoly（フル）モデルは再構成誤差0.474 mmを達成し、SpiralGNN（0.635 mm）やMoNet（0.583 mm）を上回った。
• 活性化関数を一切使用しないにもかかわらず、ProdPolyベースのモデルは、メッシュ表現学習において、再構成誤差が低く、推論速度は同等の最先端のグラフ学習演算子を大きく上回った。
• 提案された$Π$-Netフレームワークは、画像生成、分類、音声タスクのあらゆる分野で性能向上を示し、アーキテクチャの変更を最小限に抑えながら一貫した向上を実現した。
• この手法により、StyleGANがProGANを上回る成功を収めた背景に、スタイルインジェクション層による高次多項式的挙動の誘発があることが説明された。
• フレームワークにより、ResNetやGNNsを多項式ネットワークに変換するプラグアンドプレイなアップグレードが可能となり、測定可能な性能向上が得られた。