[논문 리뷰] Attacking Deep Reinforcement Learning-Based Traffic Signal Control Systems with Colluding Vehicles

Ao Qu, Yihong Tang외 1명|arXiv (Cornell University)|2021. 11. 04.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 4

한 줄 요약

이 논문은 DRL 기반 교통 신호 제어 시스템을 공격하기 위해 위장된 교통 데이터를 공동으로 전송함으로써 집단적으로 이동 시간을 크게 줄일 수 있도록 하는 딥 강화학습 기반 프레임워크인 CollusionVeh를 제안한다. 이 방법은 공유 임베딩과 통신 메커니즘을 사용하여 차량 간의 협력을 이끌어내며, 최소한의 행동 공간에서도 누적 보상(시간 절감과 관련됨)을 최대 65.7% 향상시킨다.

ABSTRACT

The rapid advancements of Internet of Things (IoT) and artificial intelligence (AI) have catalyzed the development of adaptive traffic signal control systems (ATCS) for smart cities. In particular, deep reinforcement learning (DRL) methods produce the state-of-the-art performance and have great potentials for practical applications. In the existing DRL-based ATCS, the controlled signals collect traffic state information from nearby vehicles, and then optimal actions (e.g., switching phases) can be determined based on the collected information. The DRL models fully "trust" that vehicles are sending the true information to the signals, making the ATCS vulnerable to adversarial attacks with falsified information. In view of this, this paper first time formulates a novel task in which a group of vehicles can cooperatively send falsified information to "cheat" DRL-based ATCS in order to save their total travel time. To solve the proposed task, we develop CollusionVeh, a generic and effective vehicle-colluding framework composed of a road situation encoder, a vehicle interpreter, and a communication mechanism. We employ our method to attack established DRL-based ATCS and demonstrate that the total travel time for the colluding vehicles can be significantly reduced with a reasonable number of learning episodes, and the colluding effect will decrease if the number of colluding vehicles increases. Additionally, insights and suggestions for the real-world deployment of DRL-based ATCS are provided. The research outcomes could help improve the reliability and robustness of the ATCS and better protect the smart mobility systems.

연구 동기 및 목표

• DRL 기반의 적응형 교통 신호 제어 시스템(ATCS)이 차량이 보고한 위장된 데이터를 사용한 조율된 악성 공격에 얼마나 취약한지 조사하기 위해.
• 연결된 차량들이 협력하여 신호 조정 결정을 조작함으로써 총 이동 시간을 최소화하는 현실적인 공격 시나리오를 모델링하기 위해.
• 공유된 표현과 통신을 통해 협력하는 차량들이 행동을 조율할 수 있도록 하는 일반적이고 해석 가능한 프레임워크를 개발하기 위해.
• 다양한 협력 규모와 행동 공간 제약 조건 하에서, 조율된 공격 전략과 개별적인 이기적 전략 간의 효과성을 평가하기 위해.

제안 방법

• 협력하는 차량들이 정책 파rameter를 공유하여 시나리오 임베딩을 생성함으로써 교통 상태에 대한 공동 이해를 가능하게 하는 다중 에이전트 DRL 프레임워크를 설계한다.
• 도로 상황 인코더를 활용하여 차량 관측치에서 전역적 교통 상태 표현을 추출함으로써 공통의 맥락 인식 능력을 제공한다.
• 차량 인터프리터를 사용하여 공유된 임베딩과 통신 정보를 기반으로 개별 차량 상태를 실행 가능한 전략으로 매핑한다.
• 차량들이 신호 단계 요청 시 충돌을 피하기 위해 정보를 교환할 수 있는 통신 메커니즘을 도입한다.
• 다중 에이전트 액터-크리틱(MA2C) 학습을 적용하여 총 이동 시간의 역수로 정의된 집단적 보상을 최적화한다.
• 차량 간의 파rameter 공유를 통해 샘플 효율성을 향상시키고 다양한 교통 상황에서의 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 협력하는 차량들이 위장된 교통 데이터를 전송함으로써 DRL 기반 교통 신호 제어 시스템을 공동으로 조작하여 집단적 이동 시간을 줄일 수 있는가?
• RQ2 위장된 정보를 전송할 때, 조율된 협력 전략은 개별적으로 이기적으로 행동하는 차량들과 비교해 어떻게 성능을 발휘하는가?
• RQ3 협력 그룹의 규모가 평균 및 총 이동 시간 절감에 어떻게 영향을 미치는가?
• RQ4 행동 공간(가능한 신호 단계 요청 수)의 크기가 공격의 효과성에 어떻게 영향을 미치는가?
• RQ5 DRL 기반 ATCS에서 이러한 조율된 조작을 가능하게 하는 주요 시스템 수준의 취약점은 무엇인가?

주요 결과

• CollusionVeh를 사용하는 협력 차량들은 최소한의 행동 공간 {0,1,2,3}에서도 누적 보상이 65.7% 향상되어 낮은 복잡성으로도 높은 효과를 보였다(시간 절감을 시사).
• 학습 에피소드가 증가할수록 협력 그룹의 총 이동 시간이 크게 감소하여, 정책 추론이 충분히 이루어진 후 공격가 효과를 발휘함을 시사한다.
• 협력 차량 수가 증가함에 따라 개인 평균 절감 시간은 감소하였으며, 이는 신호 단계 확보를 위한 내부 경쟁으로 인한 수익 감소 현상이 나타남을 의미한다.
• 행동 공간이 넓어질수록 CollusionVeh의 조율된 전략은 항상 최대 가능한 동작을 요청하는 이기적인 기준선 전략보다 뛰어난 성능을 보였다.
• DRL 정책이 익명이거나 알려져 있지 않은 상황에서도 공격가 효과적이었으며, 이는 이mitation learning 기반의 정책 추론이 이 설정에서 가능함을 보여준다.
• 연구 결과에 따르면 DRL 기반 ATCS는 정책 업데이트가 자주 이루어지지 않을 경우, 특히 위장된 데이터에 의해 조율된 조작 공격에 취약함을 드러냈다.