[논문 리뷰] Safe Predictors for Enforcing Input-Output Specifications

Stephen Mell, Olivia M. Brown외 2명|arXiv (Cornell University)|2020. 01. 29.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 4

한 줄 요약

이 논문은 모든 훈련 단계에서 입력-출력 사양을 만족하도록 보장하는, 정확도가 보장되는 신경망 설계 방법을 제안한다. 거리 함수로 가중된 볼록 조합을 통한 제약 조건을 갖춘 예측기의 조합을 통해, 출력이 볼록 제약 영역 내에 유지되도록 보장하며, 이는 항공기 충돌 방지 시스템에서 증명 가능한 안전성과 강건성을 입증하였다.

ABSTRACT

We present an approach for designing correct-by-construction neural networks (and other machine learning models) that are guaranteed to be consistent with a collection of input-output specifications before, during, and after algorithm training. Our method involves designing a constrained predictor for each set of compatible constraints, and combining them safely via a convex combination of their predictions. We demonstrate our approach on synthetic datasets and an aircraft collision avoidance problem.

연구 동기 및 목표

• 자율주행차나 항공기 충돌 방지와 같은 안전 핵심 응용 분야에서 사용되는 머신러닝 모델의 증명 가능한 안전성 보장을 위한 부족을 보완한다.
• 훈련 이전, 동안, 이후 모든 단계에서 입력-출력 제약 조건을 강제 적용하여, 초기 단계부터 정확성을 보장하는 방법을 개발한다.
• 운영 전반에 걸쳐 안전 제약 조건을 엄격히 준수해야 하는 온라인 학습 시나리오를 지원한다.
• 대역역 및 도메인 특화된 물리적 또는 논리적 제약 조건을 충족시키는 프레임워크를 제공한다.
• 기존의 검증 기법을 확장하여, 제약 조건을 모델 아키텍처에 직접 통합함으로써 보장된 만족도를 확보한다.

제안 방법

• 입력-출력 제약 조건을 볼록 출력 영역 $ B_i $ 및 입력 영역 $ A_i $로 정의하며, $ x \in A_i \Rightarrow F(x) \in B_i $ 를 만족시킨다.
• 입력 영역 $ A_i $ 내부에서는 0이며, 제약 조건 경계에서의 거리가 증가함에 따라 증가하는 거리 함수 $ \varsigma_i(x) \in [0,1] $ 를 구성한다.
• 입력 공간을 $ 2^c $ 개의 겹침 영역 $ O_{\vec{b}} $ 으로 분할하며, $ \vec{b} $ 는 적용 가능한 제약 조건을 나타내는 비트 스트링이다.
• 비어 있지 않은 겹침 영역 $ O_{\vec{b}} $ 에 대해, $ b_i = 1 $ 인 모든 $ B_i $ 의 교차 영역으로 사상하는 제약 조건이 부여된 예측기 $ G_{\vec{b}} $ 를 정의한다.
• 가중치 함수 $ w_{\vec{b}}(x) = \prod_{b_i=0} \varsigma_i(x) \cdot \prod_{b_i=1} (1 - \varsigma_i(x)) $ 를 계산하여, 활성 제약 조건과 호환되지 않는 예측기에 대해 0의 가중치를 할당한다.
• 최종 안전 예측기를 정규화된 볼록 조합으로 정의한다: $ F(x) = \frac{\sum_{\vec{b} \in \mathcal{O}} w_{\vec{b}}(x) \cdot G_{\vec{b}}(x)}{\sum_{\vec{b} \in \mathcal{O}} w_{\vec{b}}(x)} $, 이로써 출력이 모든 활성 제약 영역 내에 유지된다.

실험 결과

연구 질문

• RQ1 훈련의 최초 단계부터 입력-출력 제약 조건을 보장하는 신경망을 설계할 수 있는가?
• RQ2 여러 제약 조건 전용 예측기를 하나의 통합 모델로 조합하여, 모든 입력 영역에서 안전성을 유지할 수 있는가?
• RQ3 어떤 가중치 메커니즘이 관련된 제약 조건 예측기만 기여하도록 하면서도, 제약 영역의 볼록성을 유지하는가?
• RQ4 이 방법은 복잡하고 겹치는 제약 조건을 가진 실세계 안전 핵심 시스템에 얼마나 스케일링 가능한가?
• RQ5 이 프레임워크는 동시에 대칭적 강건성과 도메인 특화된 안전 규칙을 준수하는 데 적용될 수 있는가?

주요 결과

• 제안된 안전 예측기 $ F(x) $ 는 증명 가능한 정확성을 보장한다: 임의의 입력 $ x \in A_i $ 에 대해 출력 $ F(x) \in B_i $ 를 보장하여 모든 제약 조건이 만족된다.
• 이 방법은 훈련이 시작되기 이르기 전에도 안전성을 보장하므로, 온라인 학습 및 실시간 안전 핵심 시스템에 적합하다.
• 이 방법은 30개의 제약 조건 예측기를 사용하여 VerticalCAS 항공기 충돌 방지 시스템에 성공적으로 적용되었다.
• 안전 예측기 아키텍처는 첫 네 개의 히든 레이어를 공유하고 각 예측기별로 별도의 마지막 두 레이어를 사용하여, 추가된 제약 조건에도 불구하고 모델 효율성을 유지한다.
• 비대칭 손실 함수를 사용하여 룩업 테이블에서 정확한 점수 예측을 달성하였으며, 훈련은 데이터의 80%를, 테스트는 20%를 사용하였다.
• 최종 안전 예측기는 원래의 룩업 테이블보다 훨씬 작았던 2880개의 노드를 가지며, 증명 가능한 안전성과 강건성을 유지하였다.