[論文レビュー] Tropical Polynomial Division and Neural Networks

Georgios Smyrnis, Petros Maragos|arXiv (Cornell University)|Nov 29, 2019

Polynomial and algebraic computation参考文献 33被引用数 8

ひとこと要約

本稿では、max-plus半環における被除数多項式のニュートン多面体を除数のそれを使って近似することで、古典的多項式除算の幾何的類似物を提供する、新しいトロピカル多項式除算手法を提案する。この手法は、ネットワーク動作の符号化を担う多面体を活用して2層完全接続型ReLUネットワークを最小化するもので、元のニューロン数の1%でも正解率の低下が0.5%未満（0.1%）に抑えられ、ネットワークのハブ化に強く有望である。

ABSTRACT

In this work, we examine the process of Tropical Polynomial Division, a geometric method which seeks to emulate the division of regular polynomials, when applied to those of the max-plus semiring. This is done via the approximation of the Newton Polytope of the dividend polynomial by that of the divisor. This process is afterwards generalized and applied in the context of neural networks with ReLU activations. In particular, we make use of the intuition it provides, in order to minimize a two-layer fully connected network, trained for a binary classification problem. This method is later evaluated on a variety of experiments, demonstrating its capability to approximate a network, with minimal loss in performance.

研究の動機と目的

• max-plus半環における古典的多項式除算の幾何的類似物を構築し、トロピカル多項式の構造的近似を可能にする。
• ニュートン多面体がReLUニューラルネットワークの関数的挙動をどの程度符号化できるかを調査する。
• トロピカル多項式除算から得られる知見を、2層完全接続型ネットワークのバイナリ分類に応用する。
• モデルサイズを著しく削減する中でネットワーク性能をどの程度維持できるかを評価する。
• この手法をより深い構造およびマルチクラスニューラルネットワークアーキテクチャへの一般化の基盤を築く。

提案手法

• 被除数となるトロピカル多項式のニュートン多面体を、除数多項式のそれを使って近似する。これはmax-plus代数における古典的多項式除算を模倣するものである。
• ニュートン多面体がトロピカル多項式の区分線形構造を完全に特徴づけることを利用している。これはReLUネットワークの活性化領域に対応する。
• 幾何的および組合せ論的基準に従い、除数多項式の頂点および面を被除数多項式のそれと一致させることで、商と剰余を計算する。
• 得られた近似を用いて、2層完全接続型ネットワーク内の冗長ニューロンを同定し、関数的挙動を維持したままハブ化を実現する。
• 近似の忠実度とネットワークのスパarsityの両立を最適化する目的関数（式32）を最小化することで、この手法を適用する。
• ハブ化後、近似誤差を補うためにネットワークを再学習させる。

実験結果

リサーチクエスチョン

• RQ1 被除数のニュートン多面体を除数のそれを使って近似することで、max-plus半環におけるトロピカル多項式除算を意味的に定義できるか？
• RQ2 トロピカル多項式のニュートン多面体は、ReLUニューラルネットワークの関数的挙動をどの程度符号化できるか？
• RQ3 トロピカル多項式除算から得られる幾何的直観を用いて、性能劣化を最小限に抑えて2層完全接続型ReLUネットワークを効果的にハブ化できるか？
• RQ4 ハブ化されたネットワークの性能は、同じサイズの新規に学習させたネットワークと比較して、さまざまなデータセットおよびアーキテクチャでどの程度の差があるか？
• RQ5 この手法をより深い構造およびマルチクラスニューラルネットワークアーキテクチャに一般化できるか？

主な発見

• MNISTの偶数/奇数バイナリ分類タスクにおいて、元のニューロン数の1%のハブ化でも98.03%の正解率を維持し、フルモデルと比較してわずか0.1%の低下に抑えられた。
• 4/9および3/6の数字ペアでは、1%のハブ化でも99.117%の正解率を達成し、フルモデルと同等の性能を示した。
• MNISTベースのタスクにおいて、全テストハブ化レベル（最小0.5%）で正解率低下が0.5%未満に抑えられ、高いロバストネスを示した。
• ハブ化後の再学習により性能が向上したため、近似誤差を補うための良い初期化を提供していると考えられる。
• 低ニューロン数での性能が新規に学習させたモデルと同等またはそれを上回ったことから、効果的な構造的近似が実現された。
• 偶数/奇数タスクでは、クラス内分散が高いため、大きな畳み込みカーネルの使用が不可避であった。これは近似プロセスにおける表現品質の重要性を強調している。