[論文レビュー] Neural Networks Should Be Wide Enough to Learn Disconnected Decision Regions

Quynh Nguyen, Mahesh Chandra Mukkamala+1 more|arXiv (Cornell University)|Feb 28, 2018

Adversarial Robustness in Machine Learning参考文献 26被引用数 18

ひとこと要約

この論文は、leaky ReLUなどの活性化関数を備えたフィードフォワードニューラルネットワークが、複雑な現実世界のデータ分布をモデル化するために不可欠な非連結な意思決定領域を学習するには、入力次元（d+1）より広い隠れ層が必要であることを示している。主な結果は、幅が≤ d のピラミッド型ネットワークは本質的に連結な意思決定領域しか生成せず、非連結な領域を持つベイズ最適分類器を表現する能力が制限されることを示している。

ABSTRACT

In the recent literature the important role of depth in deep learning has been emphasized. In this paper we argue that sufficient width of a feedforward network is equally important by answering the simple question under which conditions the decision regions of a neural network are connected. It turns out that for a class of activation functions including leaky ReLU, neural networks having a pyramidal structure, that is no layer has more hidden units than the input dimension, produce necessarily connected decision regions. This implies that a sufficiently wide hidden layer is necessary to guarantee that the network can produce disconnected decision regions. We discuss the implications of this result for the construction of neural networks, in particular the relation to the problem of adversarial manipulation of classifiers.

研究の動機と目的

• 連続的な活性化関数を備えたフィードフォワードニューラルネットワークにおける意思決定領域の位相的性質を調査すること。
• 非連結な意思決定領域を表現できる最小のネットワーク幅を特定すること。これは、現実世界の分類タスクで一般的な性質である。
• 深さのみが表現力の要件を満たすという仮定に反して、幅が非連結な複雑な意思決定境界をモデル化するために同様に重要であることを示すこと。
• 理論的および実験的証拠を提示し、幅が敵対的例に対するロバストネスに与える影響を、非連結な意思決定領域の実現可能性と結びつけること。
• ネットワークアーキテクチャ設計を支援するため、必要条件を確立すること：少なくとも1つの隠れ層は、入力次元よりも多くのユニットを有する必要がある。

提案手法

• leaky ReLU や ReLU などの活性化関数を対象とした、位相的議論に基づく意思決定領域の理論的分析。
• 入力次元 d よりも小さいか等しいすべての隠れ層を有するピラミッド型構造のフィードフォワードネットワークでは、意思決定領域が必然的に連結であることを証明すること。
• 幅が正確に d+1 のネットワークが非連結領域を生成できることを示す明示的反例の構築により、境界がタイトであることを証明すること。
• 幅が d を超える条件下で、重み行列のランク条件を用いて非連結な意思決定領域を実現可能であることを保証すること。
• MNIST および合成データを用いた敵対的パス実験による実証的検証。同じクラスに属する非連結領域を結ぶ連続的パスが存在する。
• 1ステップターゲットクラス法を応用し、そのパス上に位置する敵対的画像を生成することで、途中の点で高い信頼度で誤分類が発生することを示している。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワードニューラルネットワークが非連結な意思決定領域を生成できる条件は何か？
• RQ2 深さとは独立して、非連結な意思決定領域を表現するための最小幅要件は存在するか？
• RQ3 leaky ReLU や ReLU の活性化関数を備えたネットワークにおいて、隠れ層の幅が意思決定領域の位相的構造に与える影響は何か？
• RQ4 幅 ≤ d の狭いネットワークは、意思決定領域の強制的連結性により、敵対的例に対して本質的に脆弱であるとされるか？
• RQ5 非連結な意思決定領域をモデル化できる能力と、敵対的操作に対するロバストネスとの相関関係はどの程度か？

主な発見

• 入力次元 d を超えない隠れ層を有するピラミッド型ネットワークでは、意思決定領域が必然的に連結である。
• 幅が少なくとも d+1 であれば、非連結な意思決定領域を表現できることが、明示的反例により示された。これは必要かつ十分条件である。
• 幅 ≤ d のネットワークでは、ゼロトレーニング誤差を達成しても、非連結な意思決定領域を持つベイズ最適分類器を表現できない。
• MNIST および合成データの実験では、同じクラスに属する非連結領域を結ぶ連続的パスが存在し、中間点すべてが高信頼度で分類されることを示しており、敵対的攻撃に対する脆弱性を示している。
• ゼロトレーニング誤差かつフルランクの重み行列を有しても、幅が d（入力次元に等しい）のネットワークは依然として連結な意思決定領域を生成する。これは理論的境界の妥当性を確認している。
• この結果は leaky ReLU に対して成り立つが、異なる勾配を持つ一般の区分線形活性化関数へは直接拡張できない。これは活性化関数の構造に敏感であることを示している。