[논문 리뷰] Refactoring Neural Networks for Verification

David Shriver, Dong Xu외 2명|arXiv (Cornell University)|2019. 08. 06.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 7

한 줄 요약

이 논문은 지식 정복을 통해 정확도를 유지하면서도 깊이 신경망(DNNs)을 더 단순하고 검증하기 쉬운 아키텍처로 변환하는 자동화된 프레임워크인 검증을 위한 리팩터링(R4V)을 제안한다. 개발자가 정의한 아키텍처 전환—예를 들어 완전 연결층이나 합성곱층을 제거하거나 크기를 줄이는 것—을 적용한 후 정복을 수행함으로써, R4V는 안전 기반 시스템에서 DNN의 검증을 더 빠르고 효과적으로 수행할 수 있게 하며, 검증 시간을 최대 9.4배까지 단축시키면서도 낮은 오차(MSE < 0.01)를 유지한다.

ABSTRACT

Deep neural networks (DNN) are growing in capability and applicability. Their effectiveness has led to their use in safety critical and autonomous systems, yet there is a dearth of cost-effective methods available for reasoning about the behavior of a DNN. In this paper, we seek to expand the applicability and scalability of existing DNN verification techniques through DNN refactoring. A DNN refactoring defines (a) the transformation of the DNN's architecture, i.e., the number and size of its layers, and (b) the distillation of the learned relationships between the input features and function outputs of the original to train the transformed network. Unlike with traditional code refactoring, DNN refactoring does not guarantee functional equivalence of the two networks, but rather it aims to preserve the accuracy of the original network while producing a simpler network that is amenable to more efficient property verification. We present an automated framework for DNN refactoring, and demonstrate its potential effectiveness through three case studies on networks used in autonomous systems.

연구 동기 및 목표

• 안전 기반 자율 시스템에서 사용되는 복잡한 DNN의 검증 문제 증가에 대응한다.
• 큰 복잡한 네트워크에서 어려움을 겪는 기존 DNN 검증 도구의 확장성 한계를 극복한다.
• 모델 정확도와 검증 효율성 사이의 트레이드오프를 개발자가 관리할 수 있도록 '복잡성 최적점'을 식별한다.
• 예측 성능을 훼손하지 않고도 DNN을 더 단순하고 검증 가능하게 변환하는 자동화된 사양 기반 접근법을 제공한다.
• 리팩터링된 DNN가 높은 정확도를 유지하면서도 효율적으로 검증될 수 있음을 입증함으로써, 안전 기반 응용 분야에의 구현을 지원한다.

제안 방법

• 완전 연결층과 합성곱층의 제거 또는 크기 조정 등 원본 DNN에 사양 기반 아키텍처 전환을 적용한다.
• 전환 사양에 기반해 구조적 타당성과 복잡도 감소를 보장하는 새로운 단순화된 DNN 아키텍처를 생성한다.
• 원본 네트워크의 입력-출력 동작을 그대로 유지하기 위해 지식 정복을 사용해 변환된 DNN을 훈련시킨다.
• 원본 훈련된 DNN에서 새로운 단순화된 아키텍처로 지식을 전달함으로써 정확도를 유지한다.
• 오프더섀프 검증 도구(예: ReLUplex, Planet, Neurify)와 함께 리팩터링된 DNN를 통합하여 검증 성능을 평가한다.
• 다양한 전환 옵션(예: 레이어 제거, 스케일링)을 체계적으로 탐색하여 정확도 및 검증 시간 제약 조건을 충족하는 리팩터링된 네트워크를 식별한다.

실험 결과

연구 질문

• RQ1 자동화된 DNN 리팩터링이 안전 기반 시스템에서 수용 가능한 정확도를 유지하면서도 검증 시간을 단축시킬 수 있는가?
• RQ2 어떤 아키텍처 전환이 DNN의 복잡도, 검증 속도, 예측 정확도 사이에서 가장 효과적인 트레이드오프를 제공하는가?
• RQ3 지식 정복이 아키텍처 단순화 후 DNN의 동작을 얼마나 잘 유지할 수 있는가?
• RQ4 정확도와 검증 예산을 기반으로 정의된 복잡성 최적점은 자율 시스템에서 사용되는 다양한 DNN 간에 어떻게 달라지는가?
• RQ5 R4V는 사전 도메인 지식이나 수동 튜닝 없이도 검증 가능한 DNN를 탐색할 수 있는가?

주요 결과

• R4V는 DAVE-2 네트워크의 검증 시간을 최대 9.4배 단축시켰고, 원본 모델과의 MSE가 0.008로 매우 낮게 유지되었다.
• 리팩터링된 네트워크 01___56789A는 검증 시간에서 6.3배의 성능 향상을 보였으며, 10개의 성질 모두가 참으로 검증되었다.
• 16개의 리팩터링된 DAVE-2 네트워크 중 3개가 정확도(MSE < 0.01)와 검증 시간(성질당 3시간 이내) 기준을 모두 충족했다.
• 원본 DAVE-2 네트워크의 경우 성질당 검증 시간이 10,000초가 넘었고, 모든 성질에 대해 '알 수 없음'을 반환하여 확장성에 심각한 문제가 있음을 보여주었다.
• Neurify는 완전 연결층이 없는 아키텍처 0123456____에서 실패했으며, 이는 특정 도구가 특정 리팩터링된 구조를 처리하는 데에 한계가 있음을 시사한다.
• 이 연구는 R4V가 사전 도메인 지식 없이도 정확도-검증 가능성 트레이드오프 공간을 효과적으로 탐색할 수 있음을 입증했다.