[論文レビュー] Deepest Neural Networks

Raúl Rojas|arXiv (Cornell University)|Jul 9, 2017

Neural Networks and Applications参考文献 2被引用数 4

ひとこと要約

この論文は、隠れ層の幅が1である深く狭い多層パーセプトロン（MLP）が、連結されたパーセプトロンによるネストされた凸ポリトープの符号化を通じて、データを普遍的に分類できることを示している。逐次的な線形カットとインバーターを用いることで、より複雑な領域における属性をテストする。深さが幅の代わりに普遍的近似に機能することを示しているが、非効率的である。

ABSTRACT

This paper shows that a long chain of perceptrons (that is, a multilayer perceptron, or MLP, with many hidden layers of width one) can be a universal classifier. The classification procedure is not necessarily computationally efficient, but the technique throws some light on the kind of computations possible with narrow and deep MLPs.

研究の動機と目的

• 隠れ層の幅が1である深く狭いMLP（MLP）が、普遍的分類器として機能できることを示すこと。
• 幅が狭く深さの大きいネットワークの計算能力を調査し、幅が広く浅いネットワークと対比すること。
• 2値出力のパーセプトロンの鎖と凸領域のモジュラーネスト構造のみを用いて、普遍的分類が可能であることを示すこと。
• 深さのみが最小幅を伴っても普遍的近似を可能にすることを理論的に裏付けることで、深層ネットワークの理論的基盤を提供すること。

提案手法

• 方法は、入力空間における線形カットをテストするパーセプトロンの鎖を用い、内積が有界に保たれるように重みをスケーリングする。
• すべてのパーセプトロンが発火した場合にのみ、前方に「発火」信号を伝えるために大きな正の重みSを用いる。これにより、入力にかかわらず下流のパーセプトロンが発火するように保証する。
• 鎖の末端に配置されたインバーターは、鎖内のすべてのパーセプトロンが出力0を返した場合にのみ1を出力し、最も内側の凸領域への属性を示す。
• 繰り返し構築されるネストされた凸包（R1, R2, ...）は、それぞれの領域が前の領域の補集合内に1つのクラスを含むように構成される。
• モジュラーなアプローチにより、内側の領域用の鎖を再利用し、より深い鎖のサブモジュールとして再利用することで、R1−R2+R3−R4+R5のようなより複雑な領域の分類器を構築する。
• すべての層を通過する元の入力を通す「ショートカット」を採用することで、深さにわたる一貫性のある評価が可能になる。

実験結果

リサーチクエスチョン

• RQ1 隠れ層の幅が1である深層ニューラルネットワークが、任意の2つの不交差データクラスを普遍的に分類できるか？
• RQ2 どのようにして、順次的鎖に並べたパーセプトロンのみを用いて、ネストされた凸ポリトープを符号化できるか？
• RQ3 大きな重みを用いた「発火」信号の伝播が、層間での論理的一致性を保つために果たす役割は何か？
• RQ4 幅が最小限で、広い隠れ層を用いずに、深さのみを用いて普遍的分類を達成することは可能か？
• RQ5 パーセプトロン鎖のモジュラー再利用は、非凸な複雑なデータ領域の分類をどのように可能にするか？

主な発見

• 隠れ層の幅が1である深層MLPは、2つの不交差クラスの領域がネストされた凸ポリトープとして表現できる限り、任意の2つの不交差データクラスを普遍的に分類できる。
• 発火がどの層でも発生した場合に、大きな重みSを介して前方に信号を伝えることで、下流の層が入力にかかわらず発火するようにするパーセプトロンの鎖構造が用いられている。
• 鎖の末端に配置されたインバーターは、鎖内のすべてのパーセプトロンが出力0を返した場合にのみ1を出力し、最も内側の凸領域への属性を正しく特定する。
• サブモジュールの再帰的結合により、R1−R2+R3−R4+R5のような複雑な領域の分類器が構築可能である。
• ネスト処理が遅い場合や領域が任意に近い場合でも、シーケンスが終了する限り、証明は成り立つ。
• このアーキテクチャは、深さが幅の代わりに普遍的近似に機能できることを示しており、幅広い浅いネットワークの古典的普遍的近似定理に対する「双対」を提供する。