[論文レビュー] Reverse-Engineering Deep ReLU Networks

David Rolnick, Konrad P. Körding|arXiv (Cornell University)|Oct 2, 2019

Advanced Memory and Neural Computing参考文献 16被引用数 15

ひとこと要約

この論文は、入力空間における線形領域の境界を分析することで、出力からの逆方向解析によって深層ReLUネットワークを再構築できることを示している。クエリを発行し、ReLUユニットのスイッチング状態を特定することで、同型性を除きアーキテクチャ、重み、バイアスを回復する手法が開発され、全結合ネットワークにおける第1層および第2層のパラメータを高い精度で再構築することに成功した。

ABSTRACT

It has been widely assumed that a neural network cannot be recovered from its outputs, as the network depends on its parameters in a highly nonlinear way. Here, we prove that in fact it is often possible to identify the architecture, weights, and biases of an unknown deep ReLU network by observing only its output. Every ReLU network defines a piecewise linear function, where the boundaries between linear regions correspond to inputs for which some neuron in the network switches between inactive and active ReLU states. By dissecting the set of region boundaries into components associated with particular neurons, we show both theoretically and empirically that it is possible to recover the weights of neurons and their arrangement within the network, up to isomorphism.

研究の動機と目的

• 出力のみから深層ReLUネットワークのアーキテクチャ、重み、バイアスを回復できるかどうかを調査すること。
• 線形領域間の遷移を分析することで、ReLUネットワークの構造を特定するクエリベースの手法を開発すること。
• パラメータが未知であり、ネットワークが公開されていない状況でも、内部構成を再構築できるかどうかを検証すること。
• 深層学習のセキュリティおよび神経科学における意味を検討し、機能的出力からシナプス結合を推定可能かどうかを調査すること。

提案手法

• ReLUネットワークの区分線形性に着目し、各ReLUユニットがスイッチングする際に入力空間に超平面境界を形成することを利用している。
• これらの境界の周囲に標的クエリを発行することで、各ReLU境界の位置と方向を特定し、それがニューロンの重みとバイアスに対応することを同定している。
• より深い層では、連鎖するReLUスイッチングによって形成される曲がった超平面の交差を検出することで、高層ニューロンの重みを推定している。
• 線形領域の配置を近似し、個々のニューロンにマッピングすることでネットワークを再構築しており、重みスケーリングやニューロン順列の同型性を考慮している。
• 幾何的プローブと線形代数の組み合わせを用いて、出力応答から各層の重み行列とバイアスベクトルを推定している。
• この手法はネットワークの深さに強く、訓練済みおよび未訓練ネットワークの両方で動作し、MNIST、記憶タスク、および合成アーキテクチャを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 出力クエリの応答のみから、深層ReLUネットワークの重みとバイアスを回復できるか？
• RQ2 線形領域の配置から、ReLUネットワークの内部アーキテクチャをどの程度再構築できるか？
• RQ3 ネットワークの深さや幅が異なる場合、特に第2層以降の層において、この手法の性能はどのように変化するか？
• RQ4 ネットワーク回復における根本的な同型性は何か？ そして、関数の変更を伴わずにそれらをどのように処理できるか？
• RQ5 この手法は、MNISTで訓練された実世界のネットワークに対しても高い精度で適用可能か？

主な発見

• 2層、3層、4層の全結合ReLUネットワークの第1層重みとバイアスを、高い精度で再構築に成功し、平均で-5未満の対数正規化誤差を達成した。
• 2隠れ層ネットワークの第2層回復において、多数のニューロンを正しく同定でき、重みとバイアスの対数正規化誤差は一貫して-4未満であった。
• 第1層の回復に要するクエリ数は、ニューロン数に比例して線形に増加したため、効率的なクエリ複雑度であることが示された。
• この手法はネットワークの深さに強く、未訓練および訓練済みネットワーク（MNISTや記憶タスクで学習されたものも含む）で安定して動作した。
• 重みスケーリングやニューロン順列の同型性は避けられなかったが、アルゴリズムは真のパラメータの大部分を最小限の誤差で回復した。
• 出力ノイズなどの防御策に対してはこの手法は効果を示さないため、ネットワーク設計者が摂動を追加することで再構築を防げる可能性がある。