[論文レビュー] Identifying Weights and Architectures of Unknown ReLU Networks

David Rolnick, Konrad P. Körding|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 13被引用数 5

ひとこと要約

この論文は、ReLU活性化の区分線形構造と層間での意思決定境界の幾何学的湾曲を活用することで、クエリ出力のみから深層ReLUネットワークのアーキテクチャ、重み、バイアスを再構築できることを示している。主な貢献は、同型性を除いてネットワークの構成要素を特定する手法を提供することであり、深層ネットワークの大部分が入力出力挙動から同定可能であることが明らかになった。

ABSTRACT

The output of a neural network depends on its parameters in a highly nonlinear way, and it is widely assumed that a network's parameters cannot be identified from its outputs. Here, we show that in many cases it is possible to reconstruct the architecture, weights, and biases of a deep ReLU network given the ability to query the network. ReLU networks are piecewise linear and the boundaries between pieces correspond to inputs for which one of the ReLUs switches between inactive and active states. Thus, first-layer ReLUs can be identified (up to sign and scaling) based on the orientation of their associated hyperplanes. Later-layer ReLU boundaries bend when they cross earlier-layer boundaries and the extent of bending reveals the weights between them. Our algorithm uses this to identify the units in the network and weights connecting them (up to isomorphism). The fact that considerable parts of deep networks can be identified from their outputs has implications for security, neuroscience, and our understanding of neural networks.

研究の動機と目的

• 深層ReLUネットワークの内部構造が、その入力出力挙動から回復可能かどうかを調査すること。
• 非線形依存性のため、ネットワークパラメータが出力から同定不能であるという長年の仮定に反応すること。
• ネットワークへのクエリアクセスのみを用いて、アーキテクチャと重みを再構築する手法を開発すること。
• この同定可能性がセキュリティ、解釈可能性、神経科学に与える影響を調査すること。

提案手法

• ReLUネットワークの区分線形性に着目し、各ReLUユニットが入力空間を分割する超平面を定義すること。
• 最初の層のReLUユニットを、ReLU境界における入力出力遷移が形成する超平面の向きを分析することで同定すること。
• 後続層の意思決定境界が初期層の境界を通過する際の湾曲を用いて、それらの層間接続の重みを推定すること。
• 幾何学的および線形代数的手法を適用し、同型性までにネットワーク構造（重みとバイアスを含む）を再構築すること。
• クエリベースのサンプリングを用いて入力出力ペアを収集し、ReLUの活性状態を露呈する境界遷移を検出すること。
• 境界検出と階層的推論を組み合わせ、層を跨いでユニットと接続を段階的に同定すること。

実験結果

リサーチクエスチョン

• RQ1 深層ReLUネットワークのアーキテクチャと重みは、入力出力応答のみから再構築可能か？
• RQ2 パラメータや勾配へのアクセスなしに、ReLUネットワークの内部構造はどの程度同定可能か？
• RQ3 意思決定境界の幾何的性質は、ネットワークの深さと重み行列に関するどのような情報を露わにするか？
• RQ4 高層の境界の湾曲が、低層の重みを推定するために果たす役割は何か？
• RQ5 再構築プロセスは同型性を除いて一意的か？同定された構造にどのような対称性が存在するか？

主な発見

• 深層ReLUネットワークの内部アーキテクチャ、特に層間の接続性と重みは、クエリ応答のみから再構築可能である。
• 最初の層のReLUユニットは、その意思決定超平面の向きに基づき、符号とスケーリングを除いて同定可能である。
• 後続層の意思決定境界が初期層の境界を通過する際の湾曲は、それらの層間接続の重みに関する情報を保持している。
• 本手法は、同型性までにネットワーク構造を再構築でき、同定されたアーキテクチャは元のネットワークと関数的に同等である。
• 再構築プロセスは、深層ネットワークの構造の大部分が挙動から同定可能であることを示しており、パラメータの不可逆性に関する仮定に挑戦する。
• 研究結果は、深層ネットワークが従来の予想よりも解釈可能で逆設計可能である可能性を示唆しており、モデルのセキュリティと解釈可能性に影響を与える。