[논문 리뷰] Evaluating Temporal Observation-Based Causal Discovery Techniques Applied to Road Driver Behaviour

Rhys Howard, Lars Kunze|arXiv (Cornell University)|2023. 01. 31.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 실세계 및 합성 자율주행 시나리오에서 상태의 최신 시간적 원인 규명 방법 10종을 평가하여 원인 희소성과 비stationarity(비정상성) 하에서의 성능을 평가한다—이러한 요소들은 온라인 로봇 응용 분야에서의 핵심 과제이다. 합성 데이터에서는 뛰어난 성능(최대 F1 = 1.0)을 보였지만, 실세계 데이터에서는 F1 ≈ 0.565에 머물러 성능이 정체됨을 확인하였으며, 이는 실시간 에이전트 행동 모델링을 위한 현재 관측 기법에 치명적인 한계가 있음을 시사한다.

ABSTRACT

Autonomous robots are required to reason about the behaviour of dynamic agents in their environment. The creation of models to describe these relationships is typically accomplished through the application of causal discovery techniques. However, as it stands observational causal discovery techniques struggle to adequately cope with conditions such as causal sparsity and non-stationarity typically seen during online usage in autonomous agent domains. Meanwhile, interventional techniques are not always feasible due to domain restrictions. In order to better explore the issues facing observational techniques and promote further discussion of these topics we carry out a benchmark across 10 contemporary observational temporal causal discovery methods in the domain of autonomous driving. By evaluating these methods upon causal scenes drawn from real world datasets in addition to those generated synthetically we highlight where improvements need to be made in order to facilitate the application of causal discovery techniques to the aforementioned use-cases. Finally, we discuss potential directions for future work that could help better tackle the difficulties currently experienced by state of the art techniques.

연구 동기 및 목표

• 실시간, 온라인 원인 추론이 필수적인 자율주행 환경에서 최신 시간적 원인 규명 방법을 평가하기 위해 벤치마킹하는 것.
• 이dealized 합성 데이터와 비교할 때 실세계 주행 데이터에 적용된 관측 기반 원인 규명 기법의 성능 저하 원인을 조사하는 것.
• 현재 방법들이 온라인 자율 에이전트 시나리오에서 성능을 저하시키는 주요 과제인 원인 희소성과 비정상성 문제를 규명하는 것.
• 유의수준(alpha) 및 최대 시간 지연과 같은 하이퍼파라미터가 방법 성능에 미치는 영향을 평가하는 것.
• 앞선 연구를 이끌기 위해 유망한 방법(예: DYNOTEARS, MVGC, TiMINo)을 식별하고, 반사적 추론과 같은 새로운 방향을 제안하는 것.

제안 방법

• 본 연구는 MVGC, TiMINo, DYNOTEARS, CD-NOD, NAVAR 등 최신 시간적 원인 규명 방법 10종을 실세계 및 합성 주행 시나리오에서 평가한다.
• 실세계 데이터는 실제 자율주행 데이터셋에서 확보되었으며, 합성 데이터는 통제된 원인 구조와 고정된 반응 시간(0.5초)을 가진 채로 정상성을 시뮬레이션한다.
• 회복된 원인 그래프의 정밀도와 재현율을 측정하기 위해 F1 점수를 사용하며, 실세계 및 합성 시나리오 간 성능을 비교한다.
• 하이퍼파라미터 민감도 분석을 통해 유의수준(alpha)과 최대 시간 지연의 영향을 평가하여 방법의 강건성에 미치는 영향을 분석한다.
• 성능 저하 원인을 규명하기 위해 시나리오별 분석을 수행하며, 특히 원인 희소성과 비정상성에 초점을 맞춘다.
• 정상성을 가정하는 방법(예: MVGC)과 비정상성에 대응하도록 설계된 방법(예: CD-NOD)을 대조하여 동적 주행 환경에서의 적합성을 평가한다.

실험 결과

연구 질문

• RQ1 현재 시간적 원인 규명 방법은 이상적인 조건을 가진 합성 데이터와 비교할 때 실세계 자율주행 데이터에서 어떻게 성능을 내는가?
• RQ2 실세계 주행 시나리오에서의 원인 희소성과 비정상성이 관측 기반 원인 규명 기법의 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ3 유의수준(alpha)과 최대 시간 지연과 같은 하이퍼파라미터 중 성능에 가장 큰 영향을 미치는 것은 무엇이며, 이들의 영향은 각 방법 간 일관된가?
• RQ4 비정상성 데이터를 고려해 설계된 CD-NOD는 이론적으로는 적합한 것으로 보이지만, 실세계 데이터에서 성능이 떨어지는 이유는 무엇인가?
• RQ5 실시간 원인 추론을 위한 자율로봇 응용 분야에서 가장 유망한 방법은 무엇이며, 현재의 한계를 극복하기 위한 새로운 연구 방향은 무엇인가?

주요 결과

• 합성 데이터에서는 MVGC 및 TiMINo와 같은 방법이 최대 F1 = 1.0에 가까운 근사 완벽한 점수를 기록하여 이상적인 정상성 및 풍부한 원인 상호작용 조건에서 뛰어난 성능을 보였다.
• 실세계 주행 시나리오에서는 가장 우수한 성능을 보인 DYNOTEARS도 F1 점수가 약 0.565에 머물러, 실데이터에 대한 일반화 능력이 떨어짐을 시사한다.
• 짧은 30초 시나리오에서 원인 상호작용 빈도가 낮아 발생하는 원인 희소성은 성능 저하의 주요 원인이며, 대부분의 방법이 풍부한 원인 증거에 의존하기 때문이다.
• 실제 주행에서 인간의 반응 시간이 변동되어 발생하는 원인 비정상성 역시 성능 저하에 심각한 영향을 미치며, 특히 정상성을 가정하는 방법의 경우 더욱 뚜렷하다.
• 유의수준(alpha)은 방법 간 강하고 일관되지 않은 영향을 미치며, 이는 중요한 하이퍼파라미터이지만 조정이 어렵다는 것을 의미한다.
• 최대 시간 지연은 총체적으로 영향이 미미하지만, 과도하게 추정할 경우 일반적으로 성능 저하를 초래하므로 대부분의 방법에 대해 합리적인 근사치로 충분함을 시사한다.