[논문 리뷰] Distributionally Robust Statistical Verification with Imprecise Neural Networks

Souradeep Dutta, Michele Caprio외 6명|Research Explorer (The University of Manchester)|2023. 08. 28.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 높은 차원의 자율 시스템을 위한 분포로 불변하는 통계적 검증 프레임워크를 제안한다. 불확실한 신경망(INNs)을 사용하여 주도 학습과 형식적 검증을 이끌고, Sherlock 검증 도구와 결합함으로써 다양한 입력 분포에 걸쳐 확장 가능하고 분포로 불변하는 성능 보장을 제공한다. 이는 내·외부 분포 설정 모두에서 순차적 예측보다 뛰어난 성능을 보인다.

ABSTRACT

A particularly challenging problem in AI safety is providing guarantees on the behavior of high-dimensional autonomous systems. Verification approaches centered around reachability analysis fail to scale, and purely statistical approaches are constrained by the distributional assumptions about the sampling process. Instead, we pose a distributionally robust version of the statistical verification problem for black-box systems, where our performance guarantees hold over a large family of distributions. This paper proposes a novel approach based on uncertainty quantification using concepts from imprecise probabilities. A central piece of our approach is an ensemble technique called Imprecise Neural Networks, which provides the uncertainty quantification. Additionally, we solve the allied problem of exploring the input set using active learning. The active learning uses an exhaustive neural-network verification tool Sherlock to collect samples. An evaluation on multiple physical simulators in the openAI gym Mujoco environments with reinforcement-learned controllers demonstrates that our approach can provide useful and scalable guarantees for high-dimensional systems.

연구 동기 및 목표

• 실제 구현에서 성립하지 않을 수 있는 고정된 가정된 입력 분포에 의존하는 통계적 검증 방법의 한계를 해결한다.
• 높은 차원의 자율 시스템에서 흔한 분포 이탈 상황에서도 성능 보장을 유지할 수 있는 확장 가능한 통계적 검증 접근법을 개발한다.
• 불확실성 정량화 기법을 불확실한 신경망(INNs)에서 도출하여 형식적 검증과 융합함으로써 주도 학습을 이끌고 샘플링 효율성을 향상시킨다.
• 학습 데이터 분포를 초월해 분포의 가족 전반에 걸쳐 최악의 성능에 대한 이론적 보장을 제공한다.
• OpenAI Gym MuJoCo 환경에서의 높은 차원 기준 벤치마크를 통해 이 방법의 효과성을 입증한다.

제안 방법

• 단일 고정 분포가 아니라 분포의 가족 전반에 걸쳐 성능 지표의 하한을 보장하는 분포로 불변하는 통계적 검증 문제를 수립한다.
• 주어진 입력 공간의 높은 불확실성 영역으로 향하는 주도 학습을 이끌기 위해 불확실한 신경망(INNs)을 서로서비스 모델로 사용하여 지식적 불확실성 추정치를 제공한다.
• INNs의 불확실성 추정치를 기반으로 블랙박스 시스템을 쿼리하고 새로운 샘플로 INN을 재학습하는 순환 주도 학습 루프를 통합한다.
• 샘플된 점 주변의 이웃 영역에서 성능 경계에 대한 형식적 보장을 계산하기 위해 신경망 검증 도구 Sherlock을 적용하여 局부 변화에 대한 정확성을 보장한다.
• 고도의 신뢰도로 성능 보장이 유지되는 초기 상태에 대한 분포의 가족을 구성함으로써 사전 배포 검증 및 온라인 모니터링을 가능하게 한다.
• 불확실한 확률 프레임워크를 활용하여 모델 불확실성을 표현하고, 분포 이탈 상황에서도 커버리지가 유지되는 보수적인 예측 구간을 유도한다.

실험 결과

연구 질문

• RQ1 통계적 검증 방법은 고차원 자율 시스템에서 분포 이탈에 대해 강건한 성능 보장을 제공할 수 있는가?
• RQ2 불확실한 신경망에서 도출된 불확실성 정량화 기법은 고차원 입력 공간에서 주도 학습의 효율성과 확장 가능성을 어떻게 향상시킬 수 있는가?
• RQ3 기존의 순차적 예측 대비 제안된 분포로 불변 보장이 외부 분포 테스트 시나리오에서 얼마나 강건하게 유지되는가?
• RQ4 Sherlock를 통한 형식적 검증과 주도 학습, 불확실한 신경망의 융합은 기존의 통계적 방법보다 더 날카우면서도 신뢰할 수 있는 성능 경계를 도출할 수 있는가?
• RQ5 제안된 방법은 Ant, Half-Cheetah, Walker2d 등 다양한 고차원 강화학습 벤치마크, 특히 MuJoCo 환경에서 어떻게 확장 가능한가?

주요 결과

• 제안된 방법은 모든 10개의 MuJoCo 환경에서 내외부 분포 테스트 설정 모두에서 99–100%의 커버리지 비율을 달성했으며, 순차적 예측은 여러 외부 분포 케이스에서 95% 이하로 떨어지는 등 뚜렷한 우월성을 보였다.
• 외부 분포 평가에서 INN 기반 방법은 전체 입력 공간에서 균일하게 샘플링된 테스트 샘플에서도 커버리지가 95% 이상을 유지했지만, 순차적 예측은 여러 환경에서 커버리지 보장을 위반했다.
• INN의 평균 예측 간격 너비는 순차적 예측보다 항상 더 넓었으며, 이는 고차원 설정에서 더 보수적이지만 신뢰도가 높은 불확실성 추정치를 의미한다.
• Humanoid-Standup 환경(47차원 입력)에서 INN은 100% 커버리지와 평균 간격 크기 262를 달성했고, 순차적 예측는 95% 커버리지와 훨씬 큰 간격 크기 143를 기록했다.
• 이 방법은 최대 47차원에 이르는 고차원 시스템으로도 확장 가능했으며, Ant, Half-Cheetah, Walker2d 등 다양한 제어 작업에서 일관된 성능을 보였다.
• 제거 분석 결과, 다양한 신뢰 수준(β = 10⁻², 10⁻⁴)에서 INN이 우수한 커버리지 성능 유지를 보였으며, 이는 선택된 유의수준에 관계없이 분포 이탈에 대한 강건성을 강화한다.