[論文レビュー] Dense Morphological Network: An Universal Function Approximator

Ranjan Mondal, Sanchayan Santra+1 more|arXiv (Cornell University)|Sep 27, 2018

Neural Networks and Applications参考文献 18被引用数 18

ひとこと要約

本稿では、従来の線形結合の代わりに形態的操作（拡張と収縮）を用いる密度型形態的ニューラルネットワーク、DenMo-Netを提案する。明示的な活性化関数を必要としないため、パラメータ数を減らしつつ同等または優れた性能を達成し、滑らかな関数における強力な近似能力を示している。

ABSTRACT

Artificial neural networks are built on the basic operation of linear combination and non-linear activation function. Theoretically this structure can approximate any continuous function with three layer architecture. But in practice learning the parameters of such network can be hard. Also the choice of activation function can greatly impact the performance of the network. In this paper we are proposing to replace the basic linear combination operation with non-linear operations that do away with the need of additional non-linear activation function. To this end we are proposing the use of elementary morphological operations (dilation and erosion) as the basic operation in neurons. We show that these networks (Denoted as DenMo-Net) with morphological operations can approximate any smooth function requiring less number of parameters than what is necessary for normal neural networks. The results show that our network perform favorably when compared with similar structured network.

研究の動機と目的

• パrameter最適化の複雑さと活性化関数の選択への感受性による深層ニューラルネットワークの学習の難しさに対処すること。
• 従来の活性化関数に依存せずに、形態的操作が普遍的関数近似に適しているかどうかを検証すること。
• 線形結合の代わりに非線形な形態的操作を用いることで、関数近似に必要なパラメータ数を削減すること。
• 滑らかな関数近似タスクにおいて、形態的ネットワークの性能を標準的な順方向アーキテクチャと比較すること。

提案手法

• ニューロン内の標準的な線形結合を、構造要素を学習可能なパラメータとして用いる形態的操作（拡張と収縮）に置き換える。
• 各ニューロンが入力特徴量に対して形態的操作を実行する密度型アーキテクチャを設計し、階層的特徴学習を可能にする。
• 複数の形態的操作層の合成を用いて、明示的な非線形活性化関数なしに複雑な非線形マッピングをモデル化する。
• バックプロパゲーションを用いて学習し、部分勾配法を用いて形態的操作の勾配を計算する。
• モデルの複雑さを低減し、一般化性能を向上させるために、密度層でパラメータ共有戦略を採用する。
• 任意の滑らかな関数が有限深度の形態的ネットワークを用いて近似可能であることを証明することで、ネットワークを普遍的近似者として形式化する。

実験結果

リサーチクエスチョン

• RQ1 拡張と収縮の形態的操作のみで、深層ネットワークにおいて普遍的関数近似が可能かどうか。
• RQ2 関数近似において、DenMo-Netのパラメータ効率は標準的な順方向ニューラルネットワークと比べてどの程度優れているか。
• RQ3 明示的な活性化関数を排除することで、形態的ネットワークにおける学習安定性と性能が向上するかどうか。
• RQ4 DenMo-Netは、従来のネットワークと比較して、より少ないパラメータで滑らかな関数をどの程度正確に近似できるか。

主な発見

• DenMo-Netは、追加の非線形活性化関数を必要とせず、形態的操作のみで普遍的関数近似能力を達成している。
• 同じ滑らかな関数を近似する場合、標準的な順方向ネットワークよりも少ないパラメータで実現でき、パラメータ効率の向上が示された。
• 実験的結果から、DenMo-Netは類似構造のベースラインネットワークと比較して、関数近似タスクにおいて優れた性能を示している。
• 形態的操作の使用により、階層的合成を通じて安定した学習と複雑なマッピングの有効な学習が可能になった。