[논문 리뷰] Reverse-Engineering Deep ReLU Networks

David Rolnick, Konrad P. Körding|arXiv (Cornell University)|2019. 10. 02.

Advanced Memory and Neural Computing참고 문헌 16인용 수 15

한 줄 요약

이 논문은 입력 공간 내 선형 영역 간의 경계를 분석함으로써 딥 ReLU 네트워크를 출력에서 역설계할 수 있음을 보여준다. 네트워크에 질의를 하고 ReLU 유닛의 상태 전환이 발생하는 지점을 식별함으로써, 이 방법은 동형성 이외의 아키텍처, 가중치, 편향을 복원하며, 완전히 연결된 네트워크에서 첫 번째 및 두 번째 레이어 파rameter의 고정밀 복원을 달성한다.

ABSTRACT

It has been widely assumed that a neural network cannot be recovered from its outputs, as the network depends on its parameters in a highly nonlinear way. Here, we prove that in fact it is often possible to identify the architecture, weights, and biases of an unknown deep ReLU network by observing only its output. Every ReLU network defines a piecewise linear function, where the boundaries between linear regions correspond to inputs for which some neuron in the network switches between inactive and active ReLU states. By dissecting the set of region boundaries into components associated with particular neurons, we show both theoretically and empirically that it is possible to recover the weights of neurons and their arrangement within the network, up to isomorphism.

연구 동기 및 목표

• 딥 ReLU 네트워크의 아키텍처, 가중치, 편향이 출력만으로 복원될 수 있는지 조사하는 것.
• 선형 영역 간 전이를 분석함으로써 ReLU 네트워크의 구조를 식별하는 질의 기반 방법을 개발하는 것.
• 파rameter가 알려져 있지 않고 네트워크가 공개적으로 접근 불가능한 경우에도 내부 구성 요소를 재구성할 수 있는지 보여주는 것.
• 딥 러닝 보안 및 신경과학 분야에 미치는 영향을 탐색하며, 특히 기능적 출력에서 시냅스 가중치를 유추하는 데 중점을 두는 것.

제안 방법

• 이 방법은 ReLU 네트워크의 조각별 선형 성질을 활용하며, 각 ReLU 유닛이 비활성 상태에서 활성 상태로 전환할 때 입력 공간 내 초평면 경계를 생성한다.
• 이러한 경계 주변에 타겟팅된 질의를 통해 알고리즘이 각 ReLU 경계의 위치와 방향을 식별하며, 이는 뉴런의 가중치와 편향에 해당한다.
• 더 깊은 레이어에서는 다중 ReLU 전환으로 형성된 굽은 초평면 간의 교차점을 탐지함으로써 고차 레이어 뉴런의 가중치를 추론한다.
• 알고리즘은 선형 영역의 배열을 근사하고 이를 개별 뉴런에 매핑함으로써 네트워크를 재구성하며, 가중치 스케일링 및 뉴런 순열과 같은 동형성을 고려한다.
• 이 접근법은 기하학적 탐색과 선형 대수학의 조합을 사용하여 출력 반응에서 각 레이어의 가중치 행렬과 편향 벡터를 추정한다.
• 이 방법은 네트워크의 깊이에 대해 강건하며, 훈련된 네트워크와 훈련되지 않은 네트워크 모두에서 작동하며, MNIST, 기억화 작업 및 합성 아키텍처에서 성능 평가가 이루어졌다.

실험 결과

연구 질문

• RQ1 딥 ReLU 네트워크의 가중치와 편향이 질의된 입력에 대한 출력만으로 복원될 수 있는가?
• RQ2 선형 영역의 배열을 통해 ReLU 네트워크의 내부 아키텍처는 어느 정도 재구성될 수 있는가?
• RQ3 이 방법은 다양한 네트워크 깊이와 너비에서, 특히 두 번째 레이어 이상에서 어떻게 성능을 발휘하는가?
• RQ4 네트워크 복원의 기본적인 동형성은 무엇이며, 기능에 손실 없이 이를 어떻게 다룰 수 있는가?
• RQ5 이 방법은 MNIST에서 훈련된 실세계 네트워크에 대해 고정밀도로 적용될 수 있는가?

주요 결과

• 알고리즘이 2-, 3-, 4층 완전 연결 ReLU 네트워크의 첫 번째 레이어 가중치와 편향을 고정밀도로 복원했으며, 평균적으로 -5 이하의 로그 정규화 오차를 기록했다.
• 2-히든 레이어 네트워크에서 두 번째 레이어 복원 시, 다수의 뉴런을 정확히 식별했으며, 가중치와 편향의 로그 정규화 오차는 항상 -4 이하로 유지되었다.
• 첫 번째 레이어 복원을 위해 필요한 질의 수는 뉴런 수에 비례하여 선형적으로 증가했으며, 효율적인 질의 복잡도를 나타냈다.
• 이 방법은 네트워크 깊이에 대해 강건하며, 훈련된 네트워크와 훈련되지 않은 네트워크 모두에서 작동했으며, MNIST 및 기억화 작업에서 훈련된 네트워크를 포함했다.
• 피할 수 없는 동형성, 예를 들어 가중치 스케일링 및 뉴런 순열이 존재하더라도, 알고리즘이 실제 파rameter의 상당 부분을 최소한의 오차로 복원했다.
• 이 방법은 출력 노이즈와 같은 방어 조치에 효과가 없음을 보여, 네트워크 설계자가 변형을 추가함으로써 복원을 억제할 수 있음을 시사한다.