[논문 리뷰] Trusted Neural Networks for Safety-Constrained Autonomous Control

Shalini Ghosh, Amaury Mercier외 4명|arXiv (Cornell University)|2018. 05. 18.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 3

한 줄 요약

이 논문은 신뢰할 수 있는 신경망(TNNs)을 소개한다. TNNs는 두 가지 방법을 통해 일阶 논리적 안전 제약 조건을 딥 뉴럴 네트워크에 통합하는 프레임워크이다: 데이터와 규칙에서의 동시 학습을 위한 다중 헤드 아키텍처와, 보조적 경사 기반 제약 최적화이다. 주요 기여는 자율 주행 제어 작업에서 안전성 향상과 더 빠른 수렴 속도를 달성한 것으로, 90%까지 불안전 행동을 억제하고 MSE 수렴 속도가 빨라진 자동차 시뮬레이터를 통해 입증되었다.

ABSTRACT

We propose Trusted Neural Network (TNN) models, which are deep neural network models that satisfy safety constraints critical to the application domain. We investigate different mechanisms for incorporating rule-based knowledge in the form of first-order logic constraints into a TNN model, where rules that encode safety are accompanied by weights indicating their relative importance. This framework allows the TNN model to learn from knowledge available in form of data as well as logical rules. We propose multiple approaches for solving this problem: (a) a multi-headed model structure that allows trade-off between satisfying logical constraints and fitting training data in a unified training framework, and (b) creating a constrained optimization problem and solving it in dual formulation by posing a new constrained loss function and using a proximal gradient descent algorithm. We demonstrate the efficacy of our TNN framework through experiments using the open-source TORCS~\cite{BernhardCAA15} 3D simulator for self-driving cars. Experiments using our first approach of a multi-headed TNN model, on a dataset generated by a customized version of TORCS, show that (1) adding safety constraints to a neural network model results in increased performance and safety, and (2) the improvement increases with increasing importance of the safety constraints. Experiments were also performed using the second approach of proximal algorithm for constrained optimization --- they demonstrate how the proposed method ensures that (1) the overall TNN model satisfies the constraints even when the training data violates some of the constraints, and (2) the proximal gradient descent algorithm on the constrained objective converges faster than the unconstrained version.

연구 동기 및 목표

• 자율 제어 응용 분야에서 핵심적인 안전 제약 조건을 만족하는 딥 뉴럴 네트워크를 개발하기 위해.
• 도메인 특화된 논리 규칙(예: 왼쪽 차선에서의 좌회전 금지 등)을 데이터 학습과 함께 신경망 훈련에 통합하기 위해.
• 훈련 데이터가 이를 위반하더라도 출력 제약 조건을 충족시킴으로써 모델 신뢰도를 향상시키기 위해.
• 보조적 경사 방법을 사용한 제약 최적화를 통해 훈련 중 수렴 속도를 가속화하기 위해.
• 3D 자동차 시뮬레이터를 사용하여 TNN의 효과성을 안전 중심 환경에서 평가하기 위해.

제안 방법

• 일부 헤드가 레이블이 지정된 데이터에서 학습하고 다른 헤드가 일阶 논리 제약 조건에서 학습하는 다중 헤드 신경망 아키텍처를 제안하며, 파rameter 공유를 위한 공유 레이어를 포함한다.
• 데이터 적합성과 제약 조건 충족 사이의 균형을 맞추기 위해 무게 조정 하이퍼파ram터 λ를 사용하는 통합 손실 함수를 사용한다.
• 훈련을 제약 최적화 문제로 공식화한다: 손실을 최소화하면서 g(o′) ≤ 0을 만족시키며, 여기서 g는 안전 규칙을 표현한다.
• 제약 문제의 이중 형식을 사용하고 최적화를 위한 새로운 제약 손실 함수를 도입한다.
• 제약 목표 함수에 대해 보조적 경사 하강법을 적용하여, 비제약 훈련보다 더 빠른 수렴을 가능하게 한다.
• 합성 데이터셋을 생성하기 위해 제어된 노이즈와 안전 위반을 포함하는 3D 시뮬레이터(TORCS)를 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 이를 위반하더라도, 일阶 논리 규칙에서 유도된 안전 제약 조건을 만족하도록 딥 뉴럴 네트워크를 훈련시킬 수 있는가?
• RQ2 규칙 기반 안전 제약 조건을 통합함으로써 자율 제어 작업에서 모델 성능과 안전성에 어떤 영향을 미치는가?
• RQ3 보조적 경사 하강법을 통한 제약 최적화는 비제약 훈련에 비해 더 빠른 수렴을 이끌어내는가?
• RQ4 안전 규칙의 중요도 가중치(λ)가 모델이 불안전 행동을 억제하는 데 미치는 영향은 어떠한가?
• RQ5 규칙이 명시적으로 알려져 있지 않을 때, 다중 헤드 TNN 아키텍처는 데이터에서 안전 규칙을 효과적으로 학습하고 시행할 수 있는가?

주요 결과

• 논리 기반 실험에서, 제약 조건이 적용된 모델은 상태 0에서 위험한 좌회전 확률을 0.10에서 0.0093으로 감소시켜 불안전 행동의 효과적인 억제를 보였다.
• 제약 조건 가중치 λ를 증가시킬수록 불안전 행동 확률이 더 감소하여, 조절 가능한 안전성 강화가 가능함을 입증했다.
• TORCS 데이터셋에서, 제약 조건이 적용된 TNN은 비제약 모델보다 더 낮은 평균 제곱 오차(MSE)를 달성하여 더 우수한 일반화 능력을 보였다.
• 보조적 경사 방법은 비제약 훈련보다 더 빠른 수렴을 보였으며, 특히 노이즈가 많은 Dataset B에서는 MSE가 0에 도달하지 못했지만 더 빠르게 감소했다.
• 다중 헤드 TNN 모델은 규칙 중요도가 증가함에 따라 안전성 성능이 향상되었으며, 이는 규칙 가중치가 모델 행동을 효과적으로 조정함을 확인했다.
• 훈련 데이터에 위반이 포함되어 있어도 TNN 프레임워크는 안전 제약 조건을 성공적으로 강제하여 데이터 노이즈에 대한 강건성을 입증했다.