[論文レビュー] Empirical Studies on the Properties of Linear Regions in Deep Neural Networks

Xiao Zhang, Dongrui Wu|arXiv (Cornell University)|Jan 4, 2020

Neural Networks and Applications参考文献 38被引用数 21

ひとこと要約

本稿では、バッチ正則化（BN）やドロップアウトなどの最適化手法が線形領域の幾何的・構造的性質にどのように影響するかを分析する、新しい経験的フレームワークを提案する。多面体計算を用いて、これらの手法が入力空間の分割に与える影響を調査する。その結果、同等の精度であっても、BNは線形領域の数と一様性を増加させるが、ドロップアウトは意思決定境界付近に多くの領域が集中し、共通の法線方向を共有する傾向があることが明らかになった。これは、最適化手法が異なる内因的帰納的バイアスをもたらすことを示している。

ABSTRACT

A deep neural network (DNN) with piecewise linear activations can partition the input space into numerous small linear regions, where different linear functions are fitted. It is believed that the number of these regions represents the expressivity of the DNN. This paper provides a novel and meticulous perspective to look into DNNs: Instead of just counting the number of the linear regions, we study their local properties, such as the inspheres, the directions of the corresponding hyperplanes, the decision boundaries, and the relevance of the surrounding regions. We empirically observed that different optimization techniques lead to completely different linear regions, even though they result in similar classification accuracies. We hope our study can inspire the design of novel optimization techniques, and help discover and analyze the behaviors of DNNs.

研究の動機と目的

• 分類精度以外の観点から、最適化手法（例：BN、ドロップアウト）がDNNの線形領域の幾何的・トポロジカル特性に与える影響を調査すること。
• 多面体計算ツールを構築・適用し、線形領域の局所的構造（超平面の方向、内接球、領域の重要度など）を分析すること。
• 入力空間への線形領域の分割に及ぼす影響を検討することで、最適化手法がもたらす内因的帰納的バイアスを解明すること。
• 線形領域の性質とDNNの挙動（敵対的ロバストネスや勾配ダイナミクスなど）との関係を調査すること。

提案手法

• 本研究では、ReLUベースのDNNにおける線形領域を特定・特徴付けるために、多面体計算を用い、入力空間全体における活性化パターンを分析する。
• 各テスト点に対して、活性ニューロンのヤコビアンの核空間内にL2正規化された方向をサンプリングし、領域間の遷移を探索する。
• 小さな摂動（ε = 0.2）を用いて、これらの方向に沿った一意な線形領域の数を計算し、領域の数と空間的分布を測定する。
• 隣接する領域間の勾配ベクトル（意思決定方向）のコサイン類似度を用いて、隣接領域の重要度を定量化する。
• MNISTデータセットを用い、アンサンブル学習、BN、ドロップアウトを用いて訓練されたモデルに、1000個のテスト点と、1点あたり100方向をサンプリングして適用する。
• この手法により、超平面の法線方向、内接球の大きさ、特に意思決定境界付近の領域のクラスタリングパターンの比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 バッチ正則化やドロップアウトといった異なる最適化手法は、DNNにおける線形領域の数、サイズ、空間的分布にどのように影響を与えるか？
• RQ2 線形領域を定義する超平面の法線方向と、使用された最適化手法との間にどのような関係があるか？
• RQ3 隣接する線形領域の重要度（勾配類似度で測定）は、敵対的ロバストネスや最適化安定性といったDNNの挙動にどのように影響を与えるか？
• RQ4 線形領域の性質は、精度とは独立して、モデルの一般化性やロバストネスとどの程度相関しているか？

主な発見

• バッチ正則化は、アンサンブル学習と比較して線形領域の数を増加させるとともに、領域のサイズの均一性を高める。
• ドロップアウトは、意思決定境界付近に多数の線形領域が集中し、多くの領域が類似した法線方向を持つ傾向を示す。
• 線形領域内の勾配方向は、その直近の隣接領域のものと強く相関しており、強い局所的線形性を示すが、深さが増すとこの関連性は低下する。
• バッチ正則化は、隣接領域間の勾配の重要度をわずかに減少させ、勾配の破壊（shattered gradients）問題の緩和に寄与する可能性がある。
• 小さな学習率で訓練されたモデルは、入力空間をより多くの線形領域に分割する傾向があり、訓練ダイナミクスと領域複雑性の間の関連性を示唆する。
• 同等のテスト精度であっても、BNとドロップアウトは根本的に異なる線形領域構造を生み出すため、モデル挙動における異なる帰納的バイアスが存在することが示唆される。