[논문 리뷰] Identifying Weights and Architectures of Unknown ReLU Networks

David Rolnick, Konrad P. Körding|arXiv (Cornell University)|2019. 09. 25.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 5

한 줄 요약

이 논문은 딥 ReLU 네트워크의 아키텍처, 가중치, 편향을 쿼리 출력만으로 재구성할 수 있음을 입증한다. 이는 ReLU 활성화의 조각별 선형 구조와 층 간 결함 경계의 기하학적 굽힘을 활용한 것이다. 주요 기여는 네트워크 구성 요소를 동형성까지 식별할 수 있는 방법을 개발한 것으로, 깊은 네트워크의 상당 부분이 입력-출력 행동으로부터 식별 가능하다는 것을 드러낸다.

ABSTRACT

The output of a neural network depends on its parameters in a highly nonlinear way, and it is widely assumed that a network's parameters cannot be identified from its outputs. Here, we show that in many cases it is possible to reconstruct the architecture, weights, and biases of a deep ReLU network given the ability to query the network. ReLU networks are piecewise linear and the boundaries between pieces correspond to inputs for which one of the ReLUs switches between inactive and active states. Thus, first-layer ReLUs can be identified (up to sign and scaling) based on the orientation of their associated hyperplanes. Later-layer ReLU boundaries bend when they cross earlier-layer boundaries and the extent of bending reveals the weights between them. Our algorithm uses this to identify the units in the network and weights connecting them (up to isomorphism). The fact that considerable parts of deep networks can be identified from their outputs has implications for security, neuroscience, and our understanding of neural networks.

연구 동기 및 목표

• 딥 ReLU 네트워크의 내부 구조가 입력-출력 행동으로부터 복원될 수 있는지 조사하기.
• 비선형적 종속성으로 인해 네트워크 파라미터가 출력으로부터 식별 불가능하다는 오랫동안 지속된 가정을 다루기.
• 네트워크에 대한 쿼리 액세스만을 사용하여 아키텍처와 가중치를 재구성하는 방법을 개발하기.
• 이 식별 가능성의 결과가 보안, 해석 가능성, 신경과학에 미치는 영향 탐색하기.

제안 방법

• 각 ReLU 유닛이 입력 공간을 분할하는 초평면을 정의하는 ReLU 네트워크의 조각별 선형 성질을 활용한다.
• ReLU 경계에서의 입력-출력 전이의 기울기를 분석하여 첫 번째 층의 ReLU 유닛을 식별한다.
• 이전 층의 경계를 통과할 때 후속 층의 결정 경계가 굽히는 방식을 이용하여 해당 층 간 연결 가중치를 추론한다.
• 기하학적 및 선형 대수 기법을 적용하여 네트워크 구조를 동형성까지 재구성한다. 이는 가중치와 편향 포함.
• 입력-출력 쌍을 수집하고 ReLU 활성화 상태를 드러내는 경계 전이를 탐지하기 위해 쿼리 기반 샘플링을 활용한다.
• 경계 탐지와 계층적 추론을 조합하여 층 간 단계적으로 유닛과 연결을 식별한다.

실험 결과

연구 질문

• RQ1 딥 ReLU 네트워크의 아키텍처와 가중치는 입력-출력 반응만으로 재구성될 수 있는가?
• RQ2 파라미터나 기울기를 접근할 수 없을 때 ReLU 네트워크의 내부 구조는 어느 정도 식별될 수 있는가?
• RQ3 결정 경계의 기하학적 성질은 네트워크의 깊이와 가중치 행렬에 대해 어떤 정보를 드러내는가?
• RQ4 고차 층의 경계 굽힘은 저차 층의 가중치를 추론하는 데 어떤 역할을 하는가?
• RQ5 재구성 과정은 동형성까지 유일한가? 식별된 구조에 존재하는 대칭성은 무엇인가?

주요 결과

• 딥 ReLU 네트워크의 내부 아키텍처, 즉 층 간 연결성과 가중치까지도 쿼리 반응만으로 재구성될 수 있다.
• 첫 번째 층의 ReLU 유닛은 결정 초평면의 기울기를 바탕으로 부호와 스케일을 제외한 채로 식별 가능하다.
• 이전 층의 경계를 통과할 때 후속 층의 결정 경계 굽힘은 해당 층 간 연결 가중치에 대한 정보를 담고 있다.
• 이 방법은 네트워크 구조를 동형성까지 재구성하므로, 식별된 아키텍처는 원본과 기능적으로 동일하다.
• 재구성 과정은 깊은 네트워크의 상당 부분이 행동으로부터 식별 가능하다는 것을 드러내며, 파라미터의 복원 불가능성에 대한 기존의 가정을 도전한다.
• 이러한 발견은 깊은 네트워크가 이전에 생각했던 것보다 더 해석 가능하고 역설계 가능하다는 것을 시사하며, 모델 보안과 해석 가능성에 영향을 미친다.