[論文レビュー] Advances in the training, pruning and enforcement of shape constraints of Morphological Neural Networks using Tropical Algebra

Nikolaos Dimitriadis, Petros Maragos|arXiv (Cornell University)|Nov 15, 2020

Neural Networks and Applications被引用数 9

ひとこと要約

この論文は、トレーニング、プルーニング、形状制約の強制を改善するために、トロピカル代数を活用することで、形態的ニューラルネットワーク（MNNs）を発展させている。多クラスタスクのためのDCプログラミングに基づくトレーニング手法を導入し、線形ネットワークと比較して、プルーニング後のMNNにおける優れたスパarsityと圧縮性能を示している。また、マスロフの脱量子化を用いた滑らかな演算子近似により、単調性の強制とトレーニング収束の向上を実現している。

ABSTRACT

In this paper we study an emerging class of neural networks based on the morphological operators of dilation and erosion. We explore these networks mathematically from a tropical geometry perspective as well as mathematical morphology. Our contributions are threefold. First, we examine the training of morphological networks via Difference-of-Convex programming methods and extend a binary morphological classifier to multiclass tasks. Second, we focus on the sparsity of dense morphological networks trained via gradient descent algorithms and compare their performance to their linear counterparts under heavy pruning, showing that the morphological networks cope far better and are characterized with superior compression capabilities. Our approach incorporates the effect of the training optimizer used and offers quantitative and qualitative explanations. Finally, we study how the architectural structure of a morphological network can affect shape constraints, focusing on monotonicity. Via Maslov Dequantization, we obtain a softened version of a known architecture and show how this approach can improve training convergence and performance.

研究の動機と目的

• 1対1アプローチとDCプログラミングを用いて、二値形態的分類を多クラス問題へ拡張すること。
• プルーニング下での密な形態的ネットワークのスパarsityと圧縮可能性を調査し、線形ネットワークと比較すること。
• 滑らかな演算子近似を用いて、形態的ネットワークにおける単調性を強制し、トレーニングの安定性とパフォーマンスを向上させること。
• 数学的モルフォロジー、トロピカル幾何学、ニューラルネットワーク最適化を統合する原理的フレームワークを提供すること。
• 差分凸（DC）プログラミングを用いた非確率的トレーニング手法として、勾配ベース手法の代替手段を提供すること。

提案手法

• MNNのトレーニングを差分凸（DC）最適化問題として定式化し、確率的最適化を用いずに解析的かつ安定したトレーニングを可能にしている。
• 凸-凹プロシージャ（CCP）を用いて多クラス形態的ネットワークをトレーニングし、二値の拡張・収縮パーセプトロンを一般分類に拡張している。
• 構造的プルーニングを適用してパラメータ効率を評価し、重度のパラメータ削除下での形態的ネットワークと線形ネットワークを比較している。
• マスロフの脱量子化を用いて、硬い形態的演算子（max/min）を滑らかにし、不連続な勾配を滑らかな近似に置き換えている。
• 滑らかさを制御するためのハードネスパラメータβを導入し、すべてのハイパーハイパープランに連続的かつ微分可能な更新を可能にする。
• 適応的最適化（Adam）とグロロト一様初期化を用いて、単調性制約付きのノイズのある回帰タスクでネットワークをトレーニングしている。

実験結果

リサーチクエスチョン

• RQ1 非確率的でDCプログラミングに基づく最適化を用いて、形態的ニューラルネットワークを多クラス分類に効果的にトレーニングできるか？
• RQ2 重度のプルーニング下で、形態的ネットワークは線形ネットワークと比較して、スパarsityと圧縮効率に優れているか？
• RQ3 max/min演算子の滑らかな近似は、単調な形態的ネットワークにおけるトレーニング収束性とパフォーマンスを向上させられるか？
• RQ4 アーキテクチャ設計と滑らかな演算子による単調性の強制は、一般化性能とロバストネスをどの程度向上させるか？
• RQ5 最適化手法と初期化の選択は、形状制約付きの形態的ネットワークのパフォーマンスと収束性にどのように影響するか？

主な発見

• β=5の滑らかな形態的ネットワークは、すべてのノイズレベルで最小のRMS誤差（σ=0.05のとき0.00294）を達成し、等価回帰とシルのネットワークを上回った。
• 滑らかな単調ネットワークは、任意のゲインパラメータGの必要性を排除し、シルの手法と比較してトレーニングを簡素化した。
• 重度のプルーニング下でも、形態的ネットワークは線形ネットワークと比較して顕著に高い正確性を維持し、優れた圧縮能力を示した。
• DCプログラミングに基づくトレーニング手法により、より複雑なモデルと同等のパフォーマンスを達成する多クラス形態的ネットワークのロバストで非確率的最適化が可能になった。
• マスロフの脱量子化により、勾配のスパarsityが低減され、すべてのハイパーハイパープランに連続的で微分可能な更新が可能になり、収束性が向上した。
• ソフト演算子アプローチにより、重み更新がよりバランスよくなり、特定のハイパーハイパープランが学習を独占するのを防ぎ、一般化性能が向上した。