[논문 리뷰] Estimating counterfactual treatment outcomes over time in complex multiagent scenarios

Keisuke Fujii, Koh Takeuchi외 4명|arXiv (Cornell University)|2022. 06. 04.

Explainable Artificial Intelligence (XAI)인용 수 7

한 줄 요약

이 논문은 시간에 따라 변화하는 다중에이전트 시스템에서 개인 치료 효과(ITE)를 추정하기 위해 국소적 에이전트 상호작용을 위한 그래프 신경망과 도메인 지식 기반 이론 기반 계산을 결합한 이론 기반 그래프 변동형 반복 신경망인 TGV-CRN을 제안한다. 이 방법은 시뮬레이션된 자율 주행 차량 및 생물학적 에이전트 시스템에서 기준 모델 대비 더 낮은 반사적 공변량 추정 오차와 더 정확한 치료 시기 예측을 달성하였으며, 실제 농구 데이터에서 현실적인 반사적 슛 예측을 생성한다.

ABSTRACT

Evaluation of intervention in a multiagent system, e.g., when humans should intervene in autonomous driving systems and when a player should pass to teammates for a good shot, is challenging in various engineering and scientific fields. Estimating the individual treatment effect (ITE) using counterfactual long-term prediction is practical to evaluate such interventions. However, most of the conventional frameworks did not consider the time-varying complex structure of multiagent relationships and covariate counterfactual prediction. This may lead to erroneous assessments of ITE and difficulty in interpretation. Here we propose an interpretable, counterfactual recurrent network in multiagent systems to estimate the effect of the intervention. Our model leverages graph variational recurrent neural networks and theory-based computation with domain knowledge for the ITE estimation framework based on long-term prediction of multiagent covariates and outcomes, which can confirm the circumstances under which the intervention is effective. On simulated models of an automated vehicle and biological agents with time-varying confounders, we show that our methods achieved lower estimation errors in counterfactual covariates and the most effective treatment timing than the baselines. Furthermore, using real basketball data, our methods performed realistic counterfactual predictions and evaluated the counterfactual passes in shot scenarios.

연구 동기 및 목표

• 개념적으로나 시간에 따라 변화하는 다중에이전트 시스템에서 치료 개입이 빈번하게 발생하지만 반사적 결과가 관측되지 않는 복잡한 상황에서 개인 치료 효과(ITE)를 추정하는 데 도전하는 것.
• 기존 프레임워크가 시간에 따라 변화하는 다중에이전트 관계와 혼란 변수를 모델링하지 못해 ITE 추정 정확도가 떨어지고 해석 가능성도 떨어지는 문제를 해결하는 것.
• 데이터 기반 그래프 모델링과 이론 기반 계산을 통합하여 더 현실적이고 해석 가능한 장기 반사적 예측을 위한 인과 추론 프레임워크를 개발하는 것.
• 시뮬레이션된 시스템(자율 주행 차량, 생물학적 에이전트)과 실제 농구 데이터를 대상으로 방법을 검증하여 반사적 결과와 최적의 치료 시기 예측 정확도 향상을 입증하는 것.

제안 방법

• 제안된 TGV-CRN 모델은 다중에이전트 시스템 내에서 에이전트 간의 시간에 따라 변화하는 국소적 상호작용을 포착하기 위해 그래프 변동형 반복 신경망(GVRNNs)을 사용한다.
• 도메인 지식을 활용한 이론 기반 계산을 통합하여 시스템 수준의 행동과 제약 조건을 모델링함으로써 반사적 예측의 해석 가능성과 타당성을 향상시킨다.
• 이 프레임워크는 개별 치료 효과(ITE)를 시간에 따라 추정할 수 있도록 장기 반사적 공변량과 결과를 동시에 예측한다.
• 관측된 궤적 재구성과 타당한 반사적 생성을 균형 잡는 변동형 추론 목표를 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 예측된 특징을 기반으로 로지스틱 회귀를 사용해 농구에서 효과적인 공격과 그렇지 않은 공격을 구분함으로써 실제 결과 분포와의 일관성을 확보한다.
• 예측 정확도와 분포 현실성에 기여하는 이론 기반 구성 요소의 기여를 분리하기 위해 이론 기반 구성 요소 유무를 비교하는 분석 연구를 포함한다.

실험 결과

연구 질문

• RQ1 그래프 기반 학습과 이론 기반 계산을 융합한 하이브리드 모델이 시간에 따라 변화하는 다중에이전트 시스템에서 반사적 예측 정확도를 향상시킬 수 있는가?
• RQ2 도메인 지식 기반 이론 구성 요소의 통합이 다중에이전트 시스템에서 반사적 궤적의 현실성과 해석 가능성에 어떤 영향을 미치는가?
• RQ3 시간에 따라 변화하는 혼란 변수와 에이전트 관계를 모델링하는 것이 개인 치료 효과(ITE) 추정 정확도에 어떤 영향을 미치는가?
• RQ4 모델은 자율 주행 차량 의사결정 및 농구 패assing 전략과 같은 시뮬레이션 및 실제 시나리오에서 최적의 치료 시기를 얼마나 잘 예측할 수 있는가?

주요 결과

• 시뮬레이션된 자율 주행 차량 및 생물학적 에이전트 데이터셋에서 TGV-CRN은 반사적 공변량에 대한 종단 예측 오차가 1.510 ± 0.0093로 기준 모델들을 모두 앞서며 가장 낮은 수준을 기록했다.
• 시간에 따라 변화하는 혼란 변수가 있는 시뮬레이션된 개입을 통해 가장 효과적인 치료 시기 예측 성능이 뛰어나다는 것이 검증되었다.
• 실제 농구 데이터셋에서 TGV-CRN은 실제 분포와 매우 유사한 반사적 예측을 생성하였으며, 특히 선수의 속도 분포에서 경쟁 모델 대비 더 적은 수의 정지 속도(0속도) 박스를 기록하였다.
• 분석 연구 결과, 이론 기반 계산을 통합한 모델은 그렇지 않은 모델 대비 더 현실적인 속도 분포와 낮은 종단 오차를 보였으며, 도메인 지식 통합의 가치를 확인하였다.
• 로지스틱 회귀 기반의 공격 효과 예측기는 테스트 데이터에서 67.9%의 정확도를 기록하여, 모든 레이블을 동일하게 예측하는 기준 모델의 56.8%를 초월하여 후속 반사적 분석을 위한 신뢰할 수 있는 결과 예측이 가능하다는 것을 시사한다.
• CARLA, Boid, NBA 데이터셋에서의 학습 곡선은 20 에포크 이후 수렴을 보였으며, Boid 및 NBA 케이스에서 다소의 불안정함이 있었음에도 불구하고 안정적인 검증 손실을 유지하였다.