[논문 리뷰] ComPhy: Compositional Physical Reasoning of Objects and Events from Videos

Zhenfang Chen, Kexin Yi외 5명|arXiv (Cornell University)|2022. 05. 02.

Multimodal Machine Learning Applications인용 수 14

한 줄 요약

이 논문은 물체 상호작용의 소량의 영상 예시에서 은닉된 물리적 성질—질량과 전하와 같은—을 추론할 수 있도록 요구하는 조합적 물리적 추론을 위한 새로운 벤치마크인 ComPhy를 소개한다. 제안된 오라클 신경-기호적 프레임워크인 조합적 물리학 학습자(Compositional Physics Learner, CPL)는 시각적 인식, 그래프 신경망을 통한 물리적 성질 학습, 동적 예측 및 기호적 추론을 통합하여 사실적, 반사적, 예측적 추론 과제에서 각각 90.4% 및 90.8%의 정확도를 달성하며, 기존의 기준 모델들을 크게 앞서며 성능을 발휘한다.

ABSTRACT

Objects' motions in nature are governed by complex interactions and their properties. While some properties, such as shape and material, can be identified via the object's visual appearances, others like mass and electric charge are not directly visible. The compositionality between the visible and hidden properties poses unique challenges for AI models to reason from the physical world, whereas humans can effortlessly infer them with limited observations. Existing studies on video reasoning mainly focus on visually observable elements such as object appearance, movement, and contact interaction. In this paper, we take an initial step to highlight the importance of inferring the hidden physical properties not directly observable from visual appearances, by introducing the Compositional Physical Reasoning (ComPhy) dataset. For a given set of objects, ComPhy includes few videos of them moving and interacting under different initial conditions. The model is evaluated based on its capability to unravel the compositional hidden properties, such as mass and charge, and use this knowledge to answer a set of questions posted on one of the videos. Evaluation results of several state-of-the-art video reasoning models on ComPhy show unsatisfactory performance as they fail to capture these hidden properties. We further propose an oracle neural-symbolic framework named Compositional Physics Learner (CPL), combining visual perception, physical property learning, dynamic prediction, and symbolic execution into a unified framework. CPL can effectively identify objects' physical properties from their interactions and predict their dynamics to answer questions.

연구 동기 및 목표

• 영상 관찰에서 직접적으로 보이지 않는 은닉된 물리적 성질—질량과 전하와 같은—을 추론하는 데 도전하는 것.
• 시각적 외관과 내재된 물리적 성질을 분리하는 벤치마크를 개발하여, 소량의 영상 예시에서 조합적 방식으로 추론할 수 있도록 요구하는 것.
• 최신 영상 추론 모델들이 은닉된 물리적 성질을 추론하고 활용하여 동적 예측 및 질문 응답을 수행하는 능력을 평가하는 것.
• 인식, 물리적 성질 학습, 역학 예측, 기호 실행을 통합한 모듈러한 신경-기호 프레임워크(CPL)를 제안하여 물리적 추론 능력을 향상시키는 것.
• 기존 모델들이 조합적 물리적 추론에서 보이는 한계를 입증하고, 내재된 성질을 명시적으로 모델링하는 아키텍처의 필요성을 강조하는 것.

제안 방법

• ComPhy 벤치마크는 메타-트레이닝 및 메타-테스트 세트로 구성되며, 각 세트는 4개의 기준 영상과 1개의 타겟 영상으로 이루어져 있으며, 영상 간에 일관된 물리적 성질을 가진 물체를 포함한다.
• 모델은 물체의 특징—시각적 외관과 동적 궤적을 포함—을 노드 및 에지 표현으로 인코딩하기 위해 그래프 신경망(GNN)을 사용한다.
• 전용 물리적 성질 학습(PPL) 헤드는 기준 영상에서의 물체 상호작용을 바탕으로 지도 신호를 이용해 내재된 성질(질량 및 전하)을 추론한다.
• 동적 예측기에서는 추론된 물리적 성질과 물체 상호작용을 이용해 향후 및 반사적 운동 궤적을 시뮬레이션한다.
• 기호 실행은 예측된 물리적 상태와 역학을 기반으로 논리 프로그램을 조합하여 질문에 답하기 위해 적용된다.
• 오라클 모델인 CPL은 물리적 성질 예측, 동적 예측, 질문 응답 손실을 통합한 다중 작업 목적함수를 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 최신 영상 추론 모델들은 물체 상호작용의 소량의 영상 예시에서 질량과 전하와 같은 은닉된 물리적 성질을 추론할 수 있는가?
• RQ2 시각적 특성(외관, 운동)과 은닉된 물리적 성질 간의 조합적 상호작용이 추론 성능에 어떤 영향을 미치는가?
• RQ3 신경-기호 프레임워크는 엔드 투 엔드 모델 대비 반사적 및 예측적 질문에 대해 어느 정도 향상된 추론 성능를 제공하는가?
• RQ4 그래프 기반 아키텍처에서 물리적 성질(질량, 전하)을 명시적으로 모델링하는 것이 장기적인 동적 예측에 어떤 영향을 미치는가?
• RQ5 더 복잡한 시나리오—물체 수가 증가하고 다양한 물리적 상호작용이 존재하는 경우—에 대해 제안된 프레임워크의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 조합적 물리학 학습자(CPL)는 질량 및 전하 엣지 레이블 예측에서 각각 90.4% 및 90.8%의 정확도를 달성하여 소량의 영상 예시에서 강력한 물리적 성질 추론 능력을 입증한다.
• 기준 영상 없이 타겟 영상만을 사용하는 기준 모델은 질량 및 전하 예측에서 각각 59.4% 및 70.2%의 정확도를 기록하며, 소량의 기준 영상 학습의 중요성을 강조한다.
• CPL은 지식 기반 물리적 성질을 제공하는 최신 모델의 변종인 NS-DR+보다 반사적 및 예측적 추론 과제에서 유의미하게 뛰어난 성능을 보이며, 명시적인 물리적 성질 모델링의 가치를 입증한다.
• 6~8개의 물체와 혼합된 물리적 상호작용을 포함하는 더 복잡한 시나리오에서는 성능이 크게 떨어지며, 기존 모델의 분포 외 동역학에 대한 일반화 능력이 제한되어 있음을 시사한다.
• 특히 반사적 추론에서 인간 성능과 CPL 간의 격차가 여전히 크며, 장기적인 동적 예측이 여전히 핵심적 한계임을 시사한다.
• 지식 기반 물리적 성질이 제공되더라도 CPT-Gt 기준 모델은 여전히 예측 과제에서 CPL에 뒤지며, 동적 예측기의 성능이 시스템 전반의 주요 제약 요소임을 시사한다.