[논문 리뷰] Improving Certified Robustness via Statistical Learning with Logical Reasoning

Zhuolin Yang, Zhikuan Zhao외 9명|arXiv (Cornell University)|2020. 02. 28.

Adversarial Robustness in Machine Learning참고 문헌 49인용 수 6

한 줄 요약

이 논문은 마르코프 논리 네트워크(MLN)를 통해 통계적 학습과 논리적 추론을 통합함으로써 기계 학습에서 인증 가능한 강건성(robustness)을 향상시키는 새로운 프레임워크를 제안한다. MLN의 강건성 인증이 #P-난이도임을 증명하고, MLN에 대한 첫 번째 인증 가능한 강건성 경계를 유도하며, 이미지와 텍스트를 포함한 다섯 가지 다양한 데이터셋에서 최신 기술보다 뚜렷한 성능 향상을 보여준다.

ABSTRACT

Intensive algorithmic efforts have been made to enable the rapid improvements of certificated robustness for complex ML models recently. However, current robustness certification methods are only able to certify under a limited perturbation radius. Given that existing pure data-driven statistical approaches have reached a bottleneck, in this paper, we propose to integrate statistical ML models with knowledge (expressed as logical rules) as a reasoning component using Markov logic networks (MLN, so as to further improve the overall certified robustness. This opens new research questions about certifying the robustness of such a paradigm, especially the reasoning component (e.g., MLN). As the first step towards understanding these questions, we first prove that the computational complexity of certifying the robustness of MLN is #P-hard. Guided by this hardness result, we then derive the first certified robustness bound for MLN by carefully analyzing different model regimes. Finally, we conduct extensive experiments on five datasets including both high-dimensional images and natural language texts, and we show that the certified robustness with knowledge-based logical reasoning indeed significantly outperforms that of the state-of-the-arts.

연구 동기 및 목표

• 현재의 인증 가능한 강건성 방법이 깊은 신경망에서 작은 변형 반경에 국한되어 있음에 대한 한계를 해결하기 위해.
• 통계적 학습에 도메인 지식을 논리적 추론(예: MLN를 통해) 통합하면 순수 데이터 기반 접근 방식을 초월해 인증 가능한 강건성을 향상시킬 수 있는지 탐색하기 위해.
• 논리적 추론 구성 요소(예: MLN)에서 강건성 인증의 계산 복잡도를 체계적으로 분석하기 위해.
• 모델 매개변수의 변형 하에서 MLN에 대한 첫 번째 인증 가능한 강건성 경계를 도출하여 감지-추론 파이프라인에서 종단 간 인증 가능한 강건성을 가능하게 하기 위해.

제안 방법

• 통계 모델(예: DNN)이 확률적 예측을 제공하고 이를 논리적 추론 구성 요소(예: MLN)에 입력하는 감지-추론 파이프라인을 제안한다.
• 추론 구성 요소를 마르코프 논리 네트워크(MLN)로 모델링하여 논리 규칙와 확률적 그래픽 모델을 결합한다.
• 기존의 알려진 #P-완전 counting 문제로의 축소를 통해 MLN의 강건성 인증이 #P-난이도임을 증명한다.
• 구조화된 모델 가정 하에 변형이 가장자리 확률에 미치는 영향을 분석하여 MLN에 대한 첫 번째 인증 가능한 강건성 경계를 도출한다.
• 모델 매개변수의 변형에 대해 최적화함으로써 최종 출력 확률의 강건성 간격을 계산하는 알고리즘을 개발한다.
• 이차 트리 구조를 가진 베이지안 네트워크의 특수 케이스로 닫힌 형태의 해를 제공하여 효율적인 강건성 인증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 논리적 추론 기반 방식의 강건성 인증이 #P-난이도 추론 복잡도를 가짐에 따라 계산적으로 가능할 수 있는가?
• RQ2 통계적 학습 파이프라인에 논리 규칙와 도메인 지식을 통합하면 순수 데이터 기반 모델에 비해 인증 가능한 강건성이 향상될 수 있는가?
• RQ3 모델 매개변수의 변형 하에서 MLN에 대한 이론적 강건성 경계는 무엇이며, 이를 효율적으로 계산할 수 있는가?
• RQ4 추론 모델의 구조적 형태(예: 이진 트리)가 강건성 인증의 처리 가능성에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 추론 구성 요소가 확률적이고 규칙 기반인 감지-추론 파이프라인에서 종단 간 인증 가능한 강건성을 달성할 수 있는가?

주요 결과

• 논문은 MLN에 대한 강건성 인증이 #P-난이도임을 증명하여, 추론 기반 인증 방어의 기본적인 계산 복잡도 장벽을 확립한다.
• 구조화된 모델 가정 하에 변형이 가장자리 확률에 미치는 영향을 분석함으로써 MLN에 대한 첫 번째 인증 가능한 강건성 경계를 도출한다.
• 이차 트리 구조를 가진 베이지안 네트워크의 경우, 편미분과 제약 최적화를 이용해 강건성 인증에 대한 닫힌 형태의 해를 제공한다.
• 이미지와 자연어를 포함한 다섯 가지 데이터셋에서의 실험 결과, 제안된 방법이 최신 기술의 인증 가능한 강건성 기준을 뚜렷이 초월함을 보여준다.
• 논리적 추론과 통계적 학습의 통합은 고차원적이고 복잡한 데이터 환경에서 인증 가능한 강건성에 측정 가능한 향상을 이끌어낸다.
• 결과는 지식 기반 추론이 순수 데이터 기반 모델이 달성할 수 있는 것 이상의 강건성을 제공하며, 특히 악성 변형 조건 하에서도 이를 확인한다.