[논문 리뷰] Convolutional Neural Networks as 2-D systems

Dennis Gramlich, Patricia Pauli외 3명|arXiv (Cornell University)|2023. 01. 01.

Model Reduction and Neural Networks인용 수 3

한 줄 요약

이 논문은 컨볼루션 신경망(CNN)의 2차원(2-D) 시스템 표현을 제안하며, 컨볼루션 레이어를 2-D 선형 시간 불변(LTI) 시스템으로 모델링하여 2-D Luré 시스템 설정을 가능하게 한다. 분산성 이론과 볼록 최적화를 활용해, 적대적 공격에 대한 강건성에 핵심적인 영향을 미치는 CNN의 리프시츠 상수를 계산적으로 효율적으로 추정하는 방법을 도출한다. 이는 기존의 LipSDP와 같은 방법들에 비해 특히 더 큰 네트워크에서 뛰어난 계산 가능성을 보이며, 성능이 뛰어나다.

ABSTRACT

This paper introduces a novel representation of convolutional Neural Networks (CNNs) in terms of 2-D dynamical systems. To this end, the usual description of convolutional layers with convolution kernels, i.e., the impulse responses of linear filters, is realized in state space as a linear time-invariant 2-D system. The overall convolutional Neural Network composed of convolutional layers and nonlinear activation functions is then viewed as a 2-D version of a Lur'e system, i.e., a linear dynamical system interconnected with static nonlinear components. One benefit of this 2-D Lur'e system perspective on CNNs is that we can use robust control theory much more efficiently for Lipschitz constant estimation than previously possible.

연구 동기 및 목표

• CNN의 리프시츠 상수를 추정하기 위한 효율적인 강건 제어 기반 방법의 부족을 해결하기 위해.
• 컨볼루션 신경망을 2-D 동적 시스템으로 표현함으로써 제어 이론과 딥 러닝을 연결하고, 기존에 잘 정립된 2-D 시스템 이론을 활용하기 위해.
• 볼록 최적화를 통해 다층 CNN에 대한 확장 가능한 리프시츠 상수 추정을 가능하게 하기 위해.
• 기존의 LipSDP와 같은 방법들이 중간 크기의 CNN에서 메모리 사용이 과도하여 실패하는 등의 계산 제약을 극복하기 위해.
• 적대적 공격에 대한 강건성 평가를 위한 이론적으로 타당하고 계산적으로 구현 가능한 접근법을 제공하기 위해.

제안 방법

• Roesser 또는 Fornasini-Marchesini 모델 기반 상태공간 표현을 사용하여 각 컨볼루션 레이어를 2-D 선형 시간 불변(LTI) 시스템으로 표현한다.
• 전체 CNN을 2-D Luré 시스템으로 설정하며, 선형 2-D 시스템이 정적이고 섹터 유계 비선형성(예: ReLU)과 연결되어 있다.
• 분산성 이론을 적용하여 CNN의 리프시츠 상수를 경계짓는 볼록 최적화 문제(정수형 프로그래밍)를 유도한다.
• 컨volution 커널 전이 함수의 선형 분수 표현(LFR)을 사용하여 2-D 시스템 모델을 구성함으로써, [47]과 같은 도구를 통해 효율적인 계산을 가능하게 한다.
• Mosek와 같은 솔버를 사용하여 유도된 볼록 최적화 문제를 해결하여 리프시츠 상수의 상한을 계산한다.
• 두 개의 컨볼루션 레이어와 두 개의 완전 연결 레이어를 가진 MNIST 분류 CNN에서 방법을 검증하고, LipSDP 및 토플리츠 노름 방법과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 컨볼루션 신경망은 강건 제어 기반 분석을 가능하게 하기 위해 효과적으로 2-D 동적 시스템으로 모델링될 수 있는가?
• RQ2 2-D Luré 시스템 설정은 기존의 강건 제어 방법들에 비해 CNN의 리프시츠 상수 추정에 더 계산적으로 효율적인가?
• RQ3 이러한 방법은 네트워크 크기와 입력 차원에 따라 어떻게 확장되는가? 특히 LipSDP와 같이 메모리 집약적인 접근 방식과 비교하여 어떻게 되는가?
• RQ4 2-D 시스템 프레임워크에서 리프시츠 상한의 날카움과 계산 비용 사이의 상충 관계는 어떠한가?
• RQ5 2-D 시스템 접근법은 컨볼루션 레이어와 완전 연결 레이어를 모두 포함하는 하이브리드 아키텍처를 통합된 프레임워크 안에서 다룰 수 있는가?

주요 결과

• 28×28 MNIST CNN에 대해 2-D 시스템 접근법은 82.7초 만에 리프시츠 상수 상한 23.9를 계산했으며, 이는 LipSDP가 334초를 소요하고 더 날카운 상한 12.0을 도출한 것에 비해 뚜렷이 빠른 성능을 보였다.
• 14×14 입력 크기로 축소한 경우, 2-D 방법은 82.7초 만에 상한 23.9를 도출했고, 동일한 문제에 대해 LipSDP는 메모리 부족으로 실패했다.
• 28×28 입력 크기의 더 큰 네트워크에 대해서도 2-D 접근법은 계산적으로 타당했으며, 1550초 소요 시 상한 18.9를 도출하여 확장성을 입증했다.
• 2-D 방법의 리프시츠 상한(23.9)은 LipSDP의 상한(12.0)보다 더 넓었지만, 더 큰 네트워크에서의 계산 가능성을 확보하기 위한 필수적인 상충 관계였다.
• 이전의 2-D 제어 기반 방법들이 다루지 못했던, ReLU 활성화 함수와 완전 연결 레이어를 포함한 전체 CNN 아키텍처에 대해 리프시츠 추정을 성공적으로 수행했다.
• 결과적으로 2-D 시스템 이론이 메모리 제약으로 인해 기존 방법이 실패하는 상황에서도 계산적으로 실현 가능하고 확장 가능한 프레임워크를 제공함을 확인했다.