[논문 리뷰] Lipschitz Bounded Equilibrium Networks

Max Revay, Ruigang Wang외 1명|arXiv (Cornell University)|2020. 10. 05.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 24

한 줄 요약

이 논문은 직접적인 메트릭 기반 파rameterization을 통해 비제약 학습 중에도 날카롭게 라플라스 경계를 강제하는 새로운 형태의 평형 신경망인 라플라스 경계 평형 신경망(Lipschitz-Bounded Equilibrium Networks, LBEN)을 제안한다. 단조성과 기울기 제한이라는 자연스러운 활성화 함수 가정 하에, 단조적 연산자 이론과 수축성 신경 ODE를 활용하여 잘 정의된 문제 성격을 보장하며, 최소한의 정확도 저하로 고도로 강건한 성능을 달성하고, 실제 관측된 강건성과 매우 밀접한 일치를 보이는 인증된 라플라스 경계를 제공한다.

ABSTRACT

This paper introduces new parameterizations of equilibrium neural networks, i.e. networks defined by implicit equations. This model class includes standard multilayer and residual networks as special cases. The new parameterization admits a Lipschitz bound during training via unconstrained optimization: no projections or barrier functions are required. Lipschitz bounds are a common proxy for robustness and appear in many generalization bounds. Furthermore, compared to previous works we show well-posedness (existence of solutions) under less restrictive conditions on the network weights and more natural assumptions on the activation functions: that they are monotone and slope restricted. These results are proved by establishing novel connections with convex optimization, operator splitting on non-Euclidean spaces, and contracting neural ODEs. In image classification experiments we show that the Lipschitz bounds are very accurate and improve robustness to adversarial attacks.

연구 동기 및 목표

• 공격에 취약한 깊은 신경망의 취약성을 라플라스 경계를 강건성의 대체 지표로 강제하여 해결한다.
• 이전의 평형 신경망 방법에서 라플라스 제약 조건을 강제하기 위해 투영 또는 장벽 함수가 필요로 하는 한계를 극복한다.
• 가중치 행렬에 대한 조건을 완화하고 활성화 함수에 대해 더 자연스러운 가정(단조성 및 기울기 제한)을 사용하여 잘 정의된 문제 성격을 향상시킨다.
• 표준 정확도를 희생시키지 않으면서도 강건한 평형 신경망을 학습하기 위해 효율적인 비제약 최적화를 가능하게 한다.
• 실험적으로 인증된 라플라스 경계가 이미지 분류 작업에서 관측된 강건성과 매우 밀접이 일치함을 보여준다.

제안 방법

• 라플라스 경계를 직접 네트워크 아키텍처에 강제하기 위해 대칭 정부호 행렬 $\Lambda$를 사용한 평형 신경망의 새로운 파arameterization을 제안한다.
• 비유클리드 공간에서의 신경 ODE와 연산자 분할 기반의 수축 프레임워크를 활용하여 안정성과 잘 정의된 문제 성격을 확보한다.
• 추론 및 학습 중에 평형 상태를 효율적으로 계산하기 위해 Peaceman-Rachford 및 FISTA 반복적 해법을 적용한다.
• 계산 효율성을 유지하기 위해 왜곡 대칭 행렬 $S$를 도입하고, 가중치 행렬 $W$를 컨볼루션과 저랭크 구조로 파arameterization한다.
• 특이값 상한을 통한 처리를 위해 FISTA의 수정된 프록시멀 연산자를 사용하여 $W_{\text{out}}^T W_{\text{out}}$와 같은 비컨볼루션 항을 다룬다.
• 라플라스 경계가 파arameterization을 통해 암묵적으로 강제되므로, 표준 ADAM 최적화를 사용한 비제약 학습을 수행한다.

실험 결과

연구 질문

• RQ1 비제약 학습 중에 투영 또는 장벽 함수 없이 평형 신경망에서 라플라스 경계를 강제할 수 있는가?
• RQ2 가중치 행렬에 대한 더 약한 조건과 더 자연스러운 활성화 함수 가정 하에 평형 신경망의 잘 정의된 문제 성격을 보장할 수 있는가?
• RQ3 엄격한 라플라스 경계를 강제하면 이미지 분류 작업에서 공격에 대한 강건성이 향상되는가?
• RQ4 인증된 라플라스 상한과 실제로 관측된 공격에 대한 강건성 간의 격차는 얼마나 작은가?
• RQ5 제안된 파arameterization이 컨볼루션 네트워크로 효율적으로 확장될 수 있으며, 학습 안정성과 수렴성을 유지할 수 있는가?

주요 결과

• 제안된 LBEN 파arameterization은 제약 조건 없이도 보장된 라플라스 경계를 갖는 학습을 가능하게 하여, 투영 또는 장벽 함수의 필요성을 제거한다.
• 가중치 행렬에 대한 조건을 완화하고, 활성화 함수는 단조성 및 기울기 제한만 충족하면 되므로 더 자연스러운 가정 하에 잘 정의된 문제 성격이 확립된다.
• MNIST 및 SVHN 실험에서 LBEN 모델은 FGSM 및 PGD 공격에 대해 유의미하게 향상된 강건성을 확보하면서도 정상 정확도의 저하가 최소화되었다.
• 인증된 라플라스 상한은 매우 날카로웠으며, 인증 상한과 실제 공격에서 관측된 강건성 간 격차가 작았고(예: <10%), 매우 좁은 범위를 보였다.
• 학습 과정에서 $I - W$의 라플라스 상한이 증가하여 수렴을 위해 더 많은 FISTA 반복이 필요로 했지만, 방법은 여전히 계산적으로 타당했다.
• 블록-정수 메트릭 파arameterization 및 효율적인 특이값 추정을 통해 컨볼루션 네트워크로 일반화되었으며, 확장 가능한 학습을 가능하게 하였다.