[論文レビュー] Multilayer Perceptron Algebra

Peng Zhao|arXiv (Cornell University)|Jan 18, 2017

Neural Networks and Applications参考文献 4被引用数 3

ひとこと要約

この論文は、和、積、補元、および構成要素分解などの代数的演算を通じて、多層パーセプトロン（MLP）ニューラルネットワークの体系的な設計および合成を可能にする数学的枠組み「MLP代数」を導入する。MLPを代数的対象として扱うことで、分解されたデータ上で訓練された単純でタスク固有のサブネットワークから、正確性を保持したまま複雑なネットワークを構築する原理的なアプローチが可能になる。

ABSTRACT

Artificial Neural Networks(ANN) has been phenomenally successful on various pattern recognition tasks. However, the design of neural networks rely heavily on the experience and intuitions of individual developers. In this article, the author introduces a mathematical structure called MLP algebra on the set of all Multilayer Perceptron Neural Networks(MLP), which can serve as a guiding principle to build MLPs accommodating to the particular data sets, and to build complex MLPs from simpler ones.

研究の動機と目的

• 現在のニューラルネットワーク設計が直感的で経験依存であるため、体系的な原則の欠如に対処すること。
• 単純でタスク固有のネットワークから複雑なMLPを構築できる形式的な数学的構造「MLP代数」を構築すること。
• 元のデータサブセットでの分類性能を維持しながら、ニューラルネットワークの結合または分解に明示的な代数的演算を提供すること。
• 非重複またはラベル付きサブセットで訓練されたネットワークを統合して、統一的かつ正確な分類器を構築する理論的基盤を提供すること。
• データの幾何学的および構造的性質が、代数的演算を通じたネットワーク合成をどのように導くかを調査すること。

提案手法

• ネットワーク出力を反転させるために「補元ネット（Complementary Net）」演算を定義し、分類結果の論理的否定を可能にする。
• 入力層および出力層が同一の2つのMLPを、直積を用いた隠れ層の連結によって結合する「和ネット（Sum Net）」演算を導入する。
• 非重複するデータサブセットで訓練されたネットワークを組み合わせるための「I-積ネット（I-Product Net）」を提案し、ブロック対角行列を用いた重み行列を採用する。
• 複数の単一ラベル分類器を統合して1つのマルチラベルネットワークを構築するための「O-積ネット（O-Product Net）」を導入し、出力層を直接和で結合する。
• マルチ出力ネットワークを各ラベルに対応する個々の単一出力分類器に分解する「構成要素ネット（Component Net）」を定義する。
• 深さが異なるネットワークを統一的に組み合わせるために、ReLU活性化関数を用いた恒等写像層を追加する「同一拡張（Identical Extension, β）」を導入する。

実験結果

リサーチクエスチョン

• RQ1 分解されたデータ上で訓練された単純でタスク固有のサブネットワークから、どのようにニューラルネットワークを体系的に合成できるか？
• RQ2 非重複またはラベル付きデータサブセットで訓練されたネットワークを組み合わせる際、どのような代数的演算が分類精度を保持するか？
• RQ3 加法、乗法、補元など代数的体に類似した演算を可能にする、MLPに形式的な数学的構造を定義できるか？
• RQ4 深さが異なるネットワーク（例：異なる深さ）を、代数的規則に従って一貫して合成できるか？
• RQ5 データの分解（例：連結成分やラベルによる分解）が、MLP代数による効果的なネットワーク合成をどのように可能にするか？

主な発見

• MLP代数フレームワークにより、非重複またはラベル付きサブセットで訓練されたサブネットワークを統合することで、結合データセット上で高い分類精度を維持した単一の統一ネットワークを構築できる。
• 和ネット（Sum Net）演算は、データセットの異なる連結成分で訓練された2つのネットワークを効果的に結合し、各成分でのパフォーマンスを保持した。
• O-積ネット（O-Product Net）演算により、複数の単一ラベル分類器を1つのマルチラベルネットワークに統合でき、出力層が個々のラベル出力の直接和として表現される。
• 構成要素ネット（Component Net）演算により、マルチ出力ネットワークを各ラベルに対応する個々の単一出力ネットワークに分解でき、モジュラーなトレーニングおよび解析が可能になる。
• 同一拡張（β）演算により、ReLU活性化関数を用いた恒等写像層を追加することで、深さが異なるネットワークを一貫して合成でき、レイヤー構造の整合性が保たれる。
• 理論的に、複雑なネットワークが代数的演算を通じて単純なネットワークから体系的に構築可能であり、ヒューリスティックな設計の代替としての原理的枠組みを提供することが示された。