[論文レビュー] SplineNets: Continuous Neural Decision Graphs

Cem Keskin, Shahram Izadi|arXiv (Cornell University)|Oct 31, 2018

Human Pose and Action Recognition被引用数 9

ひとこと要約

SplineNets は、関数重みを低次元の B スプライン多様体に埋め込むことで、畳み込みニューラルネットワークにおける連続的で微分可能な意思決定メカニズムを導入し、動的で階層的な条件付き計算を可能にした。このアプローチにより、FLOPS を最大 3 倍まで削減しながら、5 個のノットとランク 3 の射影を用いた 32 層の SplineNet で ResNet-110 と同等の精度を達成した。

ABSTRACT

We present SplineNets, a practical and novel approach for using conditioning in convolutional neural networks (CNNs). SplineNets are continuous generalizations of neural decision graphs, and they can dramatically reduce runtime complexity and computation costs of CNNs, while maintaining or even increasing accuracy. Functions of SplineNets are both dynamic (i.e., conditioned on the input) and hierarchical (i.e., conditioned on the computational path). SplineNets employ a unified loss function with a desired level of smoothness over both the network and decision parameters, while allowing for sparse activation of a subset of nodes for individual samples. In particular, we embed infinitely many function weights (e.g. filters) on smooth, low dimensional manifolds parameterized by compact B-splines, which are indexed by a position parameter. Instead of sampling from a categorical distribution to pick a branch, samples choose a continuous position to pick a function weight. We further show that by maximizing the mutual information between spline positions and class labels, the network can be optimally utilized and specialized for classification tasks. Experiments show that our approach can significantly increase the accuracy of ResNets with negligible cost in speed, matching the precision of a 110 level ResNet with a 32 level SplineNet.

研究の動機と目的

• 深層 CNN の高い計算コストを、動的で階層的な条件付き計算を可能にすることで解決すること。
• 連続的で微分可能な分岐を用いることで、精度を損なわずモデル推論の複雑さを低減すること。
• 従来の離散的意思決定ネットワークにおける不連続性を克服し、カテゴリカルな選択を連続的な位置パラメータに置き換えること。
• スプライン位置とクラスラベルの相互情報量を最大化することで、分類に特化したネットワーク最適化を実現すること。
• 滑らかで低次元の多様体を用いてネットワークパラメータを構造化することで、効率的なモデル圧縮とプルーニングを可能にすること。

提案手法

• SplineNets は、B スプラインによってパrameter化された連続的で低次元の多様体に、無限個の関数重み（例：フィルタ）を埋め込む。
• 離散的なブランチ選択ではなく、サンプルがスプライン多様体上の連続的な位置を選択することで、ネットワーク部品の微分可能でスパースな活性化を実現する。
• ネットワークおよび意思決定パラメータの両方の滑らかさを強制する統一された損失関数を採用し、エンド・トゥ・エンドの学習を可能にする。
• ネットワークは入力特徴に動的に条件付けられ、かつ以前の計算パスに階層的に条件付けられることで、適応的で文脈に配慮した計算が可能になる。
• スプライン位置とクラスラベルの間の相互情報量を最大化することで、分類に特化したネットワークの最適化を図り、一般化性能と効率性を向上させる。
• 動的のみのバージョンと階層的バージョンの両方をサポートし、異なる意思決定メカニズム（例：ドット積、ランク 3 のノット）やノット数の選択肢を提供する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークにおける連続的で微分可能な意思決定は、推論の複雑さを低減しつつ、精度を維持または向上させることができるか？
• RQ2 関数重みを B スプライン多様体に埋め込む方法は、離散的ブランチングと比較して、モデルの効率性と一般化性能においてどのように異なるか？
• RQ3 スプライン位置とラベルの間の相互情報量を最大化することで、ネットワークの特化と性能はどの程度向上するか？
• RQ4 ノット数を増加させた場合、モデルサイズ、FLOPS、精度の間のトレードオフはどの程度か？
• RQ5 SplineNets は、深層残差ネットワーク（例：ResNet-110）と同等の性能を、はるかに少ないパラメータ数と FLOPS で達成できるか？

主な発見

• 32 層で 5 個のノット（H(5)-D-R3）を用いた SplineNets は、ResNet-110 と同等の精度を達成しながら、FLOPS をほぼ半減し、パラメータ数も 4200 万にまで抑えた。
• 動的のみのバージョン（H(5)-D-R3）は、93.5% の精度を達成し、パラメータ数 1000 万で、ResNet-110 よりも 3 倍速く動作した。
• より効率的な設定である H(5)-D-R4 は、わずか 367 万のパラメータで 93.5% の精度を達成し、大規模モデルとほぼ同等の速度を実現した。
• LeNet アーキテクチャでは、SplineNets はベースラインモデルよりも 15 倍速く、ほぼ 5 倍小さく、精度は同等またはそれを上回った。
• 拡張された MNIST では、H-SN(4) が 225 万のパラメータで 99.71% の精度を達成し、LeNet-32（99.60%）を上回り、CapsuleNets（99.75%）に近い精度を達成したが、はるかに少ないパラメータ数だった。
• ノット数を 2 から 5 に増加させることで、精度は顕著に向上したが、1 サンプルあたりの FLOPS への影響はほとんどなかった。これはスケーラビリティと効率性を示している。