[논문 리뷰] Causal Discovery in Physical Systems from Videos

Yunzhu Li, Antonio Torralba외 3명|arXiv (Cornell University)|2020. 07. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 53인용 수 27

한 줄 요약

이 논문은 비디오 데이터로부터 원인 구조를 키포인트 표현을 학습하고, 그래프 신경망을 통해 원인 그래프를 추론하며, 향후 동역학을 예측하는 엔드 투 엔드 비지도 프레임워크인 V-CDN을 제안한다. 이는 지도 학습이 필요 없고, 지도된 원인 레이블이나 명시적 간섭 없이도 새로운 상호작용 그래프로의 한 번의 시도(one-shot) 일반화와 반사적 추론(counterfactual reasoning)을 가능하게 한다.

ABSTRACT

Causal discovery is at the core of human cognition. It enables us to reason about the environment and make counterfactual predictions about unseen scenarios that can vastly differ from our previous experiences. We consider the task of causal discovery from videos in an end-to-end fashion without supervision on the ground-truth graph structure. In particular, our goal is to discover the structural dependencies among environmental and object variables: inferring the type and strength of interactions that have a causal effect on the behavior of the dynamical system. Our model consists of (a) a perception module that extracts a semantically meaningful and temporally consistent keypoint representation from images, (b) an inference module for determining the graph distribution induced by the detected keypoints, and (c) a dynamics module that can predict the future by conditioning on the inferred graph. We assume access to different configurations and environmental conditions, i.e., data from unknown interventions on the underlying system; thus, we can hope to discover the correct underlying causal graph without explicit interventions. We evaluate our method in a planar multi-body interaction environment and scenarios involving fabrics of different shapes like shirts and pants. Experiments demonstrate that our model can correctly identify the interactions from a short sequence of images and make long-term future predictions. The causal structure assumed by the model also allows it to make counterfactual predictions and extrapolate to systems of unseen interaction graphs or graphs of various sizes.

연구 동기 및 목표

• 지상 진실 원인 그래프나 숨겨진 혼란 요인에 접근할 수 없는 상황에서 물리 시스템의 비디오로부터 엔드 투 엔드 원인 발견을 가능하게 하기 위해.
• 원시 이미지에서 시간적으로 일관된 압축된 키포인트 표현을 학습하여 후속 원인 모델링을 위해.
• 관찰 데이터를 통해 알려지지 않은 간섭 조건에서 구조적 원인 모델(Structural Causal Model, SCM)과 숨겨진 혼란 요인을 추론하기 위해.
• 유추된 원인 구조를 기반으로 장기적인 미래 예측과 반사적 추론을 가능하게 하기 위해.
• 학습 중에 볼 수 없었던 새로운 그래프 구조와 다양한 수의 물체를 가진 시스템으로의 일반화를 가능하게 하기 위해.

제안 방법

• 인식 모듈은 비지도 키포인트 검출을 사용하여 비디오 프레임에서 의미 있는 시간적으로 일관된 표현을 추출한다.
• 추론 모듈은 그래프 신경망을 활용하여 외생 변수를 추정하고 키포인트 간의 원인 그래프 구조를 추론한다.
• 역학 모듈은 유추된 원인 그래프와 숨겨진 혼란 요인을 조건으로 하여 향후 키포인트 궤적을 예측한다.
• 다양한 구성과 환경 조건에서의 데이터를 암묵적 간섭으로 활용하여 진정한 기저 원인 그래프를 식별한다.
• 메타학습 설정을 통해 새로운 원인 메커니즘의 한 번의 시도로의 발견을 가능하게 한다.
• 엔드 투 엔드로 자율적으로 모델 클래스 추정, 매개변수 추론, 역학 학습을 동시에 수행한다.

실험 결과

연구 질문

• RQ1 지상 진실 레이블이나 명시적 간섭 없이도 모델이 비디오에서 물리적 요소 간의 진정한 원인 그래프를 발견할 수 있는가?
• RQ2 모델이 추론 중에 새로운 상호작용 그래프 구조와 다양한 수의 물체로 일반화할 수 있는가?
• RQ3 유추된 원인 구조가 정확한 장기적인 미래 예측과 반사적 추론을 지원할 수 있는가?
• RQ4 입력 노이즈와 시스템 구성의 변화에 대해 이 방법은 얼마나 강건한가?
• RQ5 복잡한 물리 시스템에서 순수한 시각 데이터로부터 이해할 수 있는 원인 메커니즘을 학습할 수 있는가?

주요 결과

• 모델은 다양한 복잡도를 가진 다체 물리 시스템에서 짧은 비디오 시퀀스로부터 원인 상호작용을 성공적으로 식별한다.
• 학습 중에 볼 수 없었던 상호작용 그래프와 다른 수의 물체를 가진 시스템으로 일반화되며, 한 번의 시도로의 원인 발견 능력을 입증한다.
• 유추된 원인 구조는 훈련 분포를 초월한 정확한 장기적인 미래 예측을 가능하게 한다.
• 원인 그래프를 수정하고 대체 결과를 예측함으로써 반사적 추론을 지원한다.
• 패브릭 환경에서의 실험 결과, 셔츠와 바지와 같은 다양한 형태와 구조로의 일반화가 가능함을 보여준다.
• 입력 노이즈에 강건하며 알려지지 않은 간섭 조건에서도 잘 작동하여, 이의 비지도 원인 발견 능력을 검증한다.