[논문 리뷰] Dissecting Deep Neural Networks

Haakon Robinson, Adil Rasheed외 1명|arXiv (Cornell University)|2019. 10. 09.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 10

한 줄 요약

이 논문은 선형 프로그래밍과 다면체 집합 분석을 활용하여 ReLU 활성화를 갖는 완전 연결 신경망의 정확한 조각별 애프린(affine) (PWA) 표현을 계산하는 새로운 알고리즘을 제안한다. 이 방법은 네트워크의 선형 영역을 명시적으로 시각화하고 분석할 수 있게 하여, 예를 들어 116개의 영역과 10⁻⁴ 이하의 예측 오차를 가진 진자 모델에서 학습된 동역학의 구조적 패턴을 드러낸다.

ABSTRACT

In exchange for large quantities of data and processing power, deep neural networks have yielded models that provide state of the art predication capabilities in many fields. However, a lack of strong guarantees on their behaviour have raised concerns over their use in safety-critical applications. A first step to understanding these networks is to develop alternate representations that allow for further analysis. It has been shown that neural networks with piecewise affine activation functions are themselves piecewise affine, with their domains consisting of a vast number of linear regions. So far, the research on this topic has focused on counting the number of linear regions, rather than obtaining explicit piecewise affine representations. This work presents a novel algorithm that can compute the piecewise affine form of any fully connected neural network with rectified linear unit activations.

연구 동기 및 목표

• 안전 중심 응용 분야에서 널리 사용되고 있음에도 불구하고, 깊이 신경망에 대한 명시적이고 분석 가능한 표현의 부족을 해결하기 위해.
• 딥 네트워크를 블랙박스로 간주하는 한계를 극복하기 위해, 그 정확한 조각별 애프린(PWA) 구조를 도출할 수 있도록 하기 위해.
• 기존의 PWA 시스템 분석 도구—예를 들어 안정성 검증 및 불변 집합 계산—을 ReLU 기반 딥 네트워크에 적용할 수 있도록 하기 위해.
• 완전 연결 ReLU 네트워크를 정확한 PWA 형태로 변환하는 것이 고복잡도 아키텍처에서도 가능함을 보여주기 위해.
• 과도한 중복성과 해석 가능성 및 분석 효율성 향상을 위해 PWA 표현을 단순화하거나 정규화할 잠재적 가능성을 탐색하기 위해.

제안 방법

• 알고리즘은 선형 프로그래밍(LP) 기법을 사용하여 모든 레이어에서 ReLU 활성화 경계가 형성하는 초평면의 배열을 분석함으로써 PWA 표현을 계산한다.
• 다면체 집합을 다루고, 네트워크가 애프린이 되는 볼록 다면체 영역을 효율적으로 계산하기 위해 MATLAB용 MPT(Multi-Parametric Toolbox)를 활용한다.
• 이 방법은 ReLU 유닛이 유도하는 입력 공간의 분할을 체계적으로 추적하여, 모든 선형 영역과 그에 해당하는 가중치 및 편향 파라미터를 식별한다.
• 활성화 함수가 조각별 애프린이라면, 이 방법은 임의의 선형/애프린 레이어(예: 컨볼루션 및 배치 정규화 레이어 포함)에 일반화 가능하다.
• 계산 효율성을 향리하기 위해 알고리즘을 병렬화하여, 표준 하드웨어에서 최대 31,835개의 선형 영역을 가진 네트워크의 변환을 1분 이내에 완료할 수 있다.
• PWA 표현은 다면체 영역 위의 표면도로 시각화되어, 네트워크 출력의 기울기 행동과 구조적 패턴을 검토할 수 있다.

실험 결과

연구 질문

• RQ1 선형 프로그래밍과 기하학적 계산을 활용하여 완전 연결 ReLU 신경망을 정확한 조각별 애프린(PWA) 표현으로 변환할 수 있는가?
• RQ2 PWA 영역의 구조는 진자 모델과 같은 특정 동역학, 예를 들어 감쇠 진자 모델에서의 실제 동역학과 어떻게 관련이 있는가?
• RQ3 기존의 PWA 시스템 분석 기법—예를 들어 안정성 검증 및 불변 집합 계산—은 PWA 함수로 표현된 딥 네트워크에 얼마나 적용 가능한가?
• RQ4 입력 차원과 네트워크 깊이 측면에서 고려할 때, 깊이 신경망에 대한 정확한 PWA 표현을 도출하는 데 있어 계산적 및 확장성 한계는 무엇인가?
• RQ5 PWA 표현에서 중복되거나 밀집된 선형 영역을 식별하고 단순화함으로써 해석 가능성과 분석 효율성을 향상시킬 수 있는가?

주요 결과

• 알고리즘은 ReLU 기반 완전 연결 신경망의 정확한 PWA 형태를 성공적으로 계산하였으며, 테스트된 가장 큰 네트워크는 31,835개의 선형 영역을 가짐.
• 감쇠 진자 모델의 동역학을 근사할 때 루트 평균 제곱 오차(RMSE)가 1.615×10⁻⁴로 나타나 높은 예측 정확도를 입증함.
• 진자 네트워크의 PWA 표현은 116개의 선형 영역을 포함하며, 수평 경계는 ḋθ=0 부근에 집중되어 있고 수직 경계는 진짜 동역학과 일치하는 삼각함수 패턴을 형성함.
• 각 영역 내에서 네트워크 출력 기울기는 국소적으로 일정하며, 경계의 구조가 출력 표면의 기울기와 형태에 직접적인 영향을 미침.
• 높은 표현 능력을 지닌다 할지라도 PWA 표현은 다수의 작은 중복 영역을 포함하고 있어 안정성 분석을 복잡하게 만들며, 정규화 또는 단순화의 필요성을 암시함.
• 알고리즘은 표준 데스크톱 하드웨어에서도 확장 가능하며, 병렬화된 버전은 최대 4개의 입력 차원과 3개의 은닉 레이어를 가진 네트워크의 변환을 약 1분 내에 완료함.