[논문 리뷰] CausalCity: Complex Simulations with Agency for Causal Discovery and Reasoning

Daniel McDuff, Yale Song외 8명|arXiv (Cornell University)|2021. 06. 24.

Bayesian Modeling and Causal Inference인용 수 10

한 줄 요약

CausalCity는 복잡하고 안전이 중요한 주행 시나리오에서 인과 발견 및 반사적 추론을 위한 고해상도, 에이전시 기반 시뮬레이션 환경을 제공한다. 차량이 고수준 목표에 기반해 자율적으로 결정을 내릴 수 있도록 함으로써, 현실적인 혼란 요인을 가진 다양한 인과 시나리오를 체계적으로 생성할 수 있으며, 간단한 벤치마크와 비교해도 더 현실적이고 동적인 교통 환경에서 인과적 구조 학습 및 궤적 예측 과제에 있어 향상된 성능을 보여준다.

ABSTRACT

The ability to perform causal and counterfactual reasoning are central properties of human intelligence. Decision-making systems that can perform these types of reasoning have the potential to be more generalizable and interpretable. Simulations have helped advance the state-of-the-art in this domain, by providing the ability to systematically vary parameters (e.g., confounders) and generate examples of the outcomes in the case of counterfactual scenarios. However, simulating complex temporal causal events in multi-agent scenarios, such as those that exist in driving and vehicle navigation, is challenging. To help address this, we present a high-fidelity simulation environment that is designed for developing algorithms for causal discovery and counterfactual reasoning in the safety-critical context. A core component of our work is to introduce \ extit{agency}, such that it is simple to define and create complex scenarios using high-level definitions. The vehicles then operate with agency to complete these objectives, meaning low-level behaviors need only be controlled if necessary. We perform experiments with three state-of-the-art methods to create baselines and highlight the affordances of this environment. Finally, we highlight challenges and opportunities for future work.

연구 동기 및 목표

• 복잡하고 실제 세계와 유사한 주행 시나리오에서 체계적인 인과 및 반사적 추론을 지원하는 시뮬레이션 환경을 개발하기 위해.
• 기존 데이터셋과 시뮬레이터의 한계를 해결하기 위해, 이는 종종 동적인 에이전시, 현실적인 혼란 요인, 충분한 시나리오 다양성 부족을 포함한다.
• 저수준 제어를 최소화하면서 고수준 시나리오 정의를 가능하게 하여 연구자들이 다중 에이전트 시간적 환경에서 인과 관계를 탐색할 수 있도록 하기 위해.
• 실제로 혼란이 존재하는 조건에서 인과 발견 및 궤적 예측 알고리즘 평가를 위한 벤치마크를 제공하기 위해.
• 통제 가능한 간섭과 반사적 분석을 통해 향후 설명 가능한 AI 및 강력한 의사결정 기반 연구를 지원하기 위해.

제안 방법

• 시뮬레이션 환경은 고해상도 시각적 및 물리적 동역학을 특징으로 하며, 현실적인 차량 행동과 교통 규칙을 반영해 실제 주행 조건을 시뮬레이션한다.
• 각 차량은 '에이전시'를 갖추고 있어 고수준 목표에 기반해 저수준 행동(예: 브레이킹, 차선 유지)을 자율적으로 결정할 수 있으며, 수동적인 동작 지정이 필요로 하는 것을 줄인다.
• 시나리오는 고수준 설정(예: A에서 B로 주행)을 통해 정의되며, 시스템은 자동으로 에이전트 간의 복잡하고 현실적인 상호작용을 생성한다.
• 다양한 다중 모odal 데이터(예: 궤적, 시각적 관측, 이벤트 로그)를 기록하여 인과 추론 및 궤적 예측 작업을 위한 데이터셋 제작을 지원한다.
• 플랫폼은 차량이 신호등에서 행동을 변경하는 등의 통제 가능한 간섭을 지원하여 반사적 추론 실험을 가능하게 한다.
• 기준 성능은 인과 발견 및 궤적 예측에 대해 최신 기법(NRI, V-CDN, NS-DR)을 사용하여 합성 데이터와 CausalCity에서 생성된 데이터 모두에서 설정된다.

실험 결과

연구 질문

• RQ1 예를 들어 규칙 준수, 충돌 회피와 같은 현실적이고 동적인 혼란 요인이 다중 에이전트 주행 시나리오에서 인과 발견 성능에 어떤 영향을 미치는가?
• RQ2 정적 또는 규칙 기반 시뮬레이션과 비교해 에이전시 기반의 시뮬레이션은 시나리오의 현실성과 복잡성에 얼마나 기여하는가?
• RQ3 고해상도이고 동적인 시뮬레이션인 CausalCity에서 평가할 경우, 최신 기술의 인과 발견 및 궤적 예측 모델은 단순한 벤치마크와 비교해 어떻게 성능을 발휘하는가?
• RQ4 시뮬레이션 환경은 '주행 차량이 빨간 신호등에서 멈추지 않았다면 어떻게 됐을까?'와 같은 의미 있는 반사적 추론 실험을 지원할 수 있는가?
• RQ5 기본 인과 그래프가 희박하고 혼란 요인이 측정 가능하고도 은폐된 경우, 인과 발견에서의 주요 과제는 무엇인가?

주요 결과

• NS-DR와 같이 특정 모델의 궤적 예측 오차는 CausalCity 데이터셋에서 더 빠르게 증가하는 경향을 보이며, 이는 실제 세계의 혼란 요인이 현재 모델에 상당한 도전 과제가 됨을 시사한다.
• F1 스코어로 측정한 인과 발견 성능은 CausalCity에서 토이 데이터셋보다 일관되게 낮으며, 특히 8辆 차량 상황에서 더욱 두드러진다. 이는 상호작용의 복잡성과 현실성 증가 때문이다.
• 차량 수가 증가할수록 인과 발견이 더 어려워지며, 인과 연결 비율을 동일하게 유지하더라도 그러한 경향이 나타나, 확장성 문제를 드러낸다.
• 인과 연결 비율이 높을수록(예: 80%) 인과 발견 성능이 향상되며, 이는 인과 그래프의 희박성이 주요 장애물임을 시사한다.
• 동일한 초기 조건에서 전략적 간섭(예: 신호등에서 차량 행동 변경)을 허용함으로써 시뮬레이션 환경은 통제 가능한 반사적 실험을 가능하게 한다.
• 결과적으로 현재 최신 기술 모델들이 현실적이고 혼란이 있는 환경에서 인과 발견 및 궤적 예측에 어려움을 겪고 있음을 입증하며, 더 강력한 인과 추론 프레임워크 개발의 필요성을 강조한다.