[논문 리뷰] Perceiving Physical Equation by Observing Visual Scenarios

Siyu Huang, Zhi-Qi Cheng외 4명|arXiv (Cornell University)|2018. 11. 29.

Model Reduction and Neural Networks참고 문헌 31인용 수 6

한 줄 요약

이 논문은 시각적 영상에서 해석 가능한 물리 방정식을 유추하기 위해 관찰자 엔진(Observer Engine)을 통해 물체 역학을 추출하고, 물리학자 엔진(Physicist Engine)을 통해 기호적 회귀(symbolic regression)을 통해 기호적 방정식을 유도하는 새로운 파이프라인을 제안한다. 이 방법은 다양한 합성 물리 시나리오에서 중력 가속도나 스프링 역학과 같은 방정식을 near-perfect 정확도(R² = 1.000)로 유추한다.

ABSTRACT

Inferring universal laws of the environment is an important ability of human intelligence as well as a symbol of general AI. In this paper, we take a step toward this goal such that we introduce a new challenging problem of inferring invariant physical equation from visual scenarios. For instance, teaching a machine to automatically derive the gravitational acceleration formula by watching a free-falling object. To tackle this challenge, we present a novel pipeline comprised of an Observer Engine and a Physicist Engine by respectively imitating the actions of an observer and a physicist in the real world. Generally, the Observer Engine watches the visual scenarios and then extracting the physical properties of objects. The Physicist Engine analyses these data and then summarizing the inherent laws of object dynamics. Specifically, the learned laws are expressed by mathematical equations such that they are more interpretable than the results given by common probabilistic models. Experiments on synthetic videos have shown that our pipeline is able to discover physical equations on various physical worlds with different visual appearances.

연구 동기 및 목표

• 일반 AI 및 과학적 추론 분야에서 중요한 목표인, 시각적 관찰에서 일반적인 물리 법칙을 자동으로 유추하는 문제를 해결하기 위해.
• 블랙박스 신경망에 의존하지 않고 명시적인 기호적 방정식을 도출하는 방법을 개발하기 위해.
• 기계가 시각적 영상 시퀀스에서 중력 가속도나 스프링 역학과 같은 물리 법칙을 인지하고 재구성할 수 있도록 하기 위해.
• 딥 러닝, 기호 학습, 진화 알고리즘을 융합한 해석 가능한 물리적 추론을 위한 하이브리드 프레임워크를 구축하기 위해.
• 시각 데이터에서 해석 가능한 물리 방정식 유추 분야의 향후 연구를 위한 기준을 설정하기 위해.

제안 방법

• 관찰자 엔진은 물체 검출 및 인스턴스 세그멘테이션을 사용하여 영상 프레임에서 물리적 성질(위치, 속도, 가속도)을 추출한다.
• 이중 단계 물체 검출기(dual-stage object detector)는 복잡한 시각적 장면에서 물체 역학 추적의 정확도를 향상시킨다.
• 물리학자 엔진은 관측된 물리적 성질에 가장 잘 맞는 수학적 표현을 찾기 위해 기호적 회귀를 활용한다.
• 기호적 회귀는 곱셈, 나눗셈과 같은 연산을 포함하는 해석 가능한 방정식을 학습할 수 있으며, 선형 모델이 포착하지 못하는 경우에 유리하다.
• 성능 평가를 위해 선형 회귀, 리지 회귀, 의사결정나무, 랜덤 포레스트 등의 베이스라인 모델을 비교한다.
• 다양한 시각적 외관을 가진 다수의 합성 물리 시나리오에서 R² 및 MAPA 지표를 사용해 파이프라인을 평가한다.

실험 결과

연구 질문

• RQ1 기계는 기초 물리학에 대한 사전 지식 없이도 시각적 영상 시퀀스에서 기호적 물리 방정식을 자동으로 유추할 수 있는가?
• RQ2 기본적인 회귀 모델에 비해 기호적 회귀는 시각 데이터에서 해석 가능한 물리 법칙을 유추하는 데 얼마나 효과적인가?
• RQ3 관찰자 엔진을 통한 물체 추적의 품질이 도출된 물리 방정식의 정확도에 얼마나 영향을 미치는가?
• RQ4 제안된 파이프라인은 다양한 시각적 외관과 역학을 가진 다양한 물리 시나리오에 일반화될 수 있는가?
• RQ5 관찰자 엔진과 물리학자 엔진의 구성 조합이 최종 방정식 유추 성능에 어떻게 영향을 미치는가?

주요 결과

• 이중 단계 검출기와 기호적 회귀를 사용할 경우 파이프라인이 지표 물리 방정식을 완전히 복원하는 R² 점수 1.000을 기록하여 정확도가 근사적으로 완벽함을 입증했다.
• 기호적 회귀는 모든 시나리오에서 모든 베이스라인 모델(선형, 리지, 의사결정나무, 랜덤 포레스트)을 앞서며, 스프링 운동과 같은 비선형 관계에서 특히 뛰어난 성능을 보였다.
• 드리프트(드리프트) 및 스프링 시나리오에서는 비선형 모델(의사결정나무, 랜덤 포레스트)이 선형 모델보다 뚜렷이 뛰어난 성능을 보였으며, 이는 비선형 방정식 유추의 필요성을 강조한다.
• 관찰자 엔진의 성능은 방정식 정확도에 직접적인 영향을 미치며, 이중 단계 검출기가 모든 테스트 케이스에서 가장 우수한 결과를 도출했다.
• 이 방법은 시각적 관찰만으로도 중력 가속도 공식과 스프링 힘 법칙과 같은 방정식을 성공적으로 도출하였다.
• 심지어 추정된 물체의 위치를 사용할 경우에도 파이프라인이 높은 정확도(R² > 0.98)를 기록하여 추적 오차에 대해 뛰어난 내구성을 보였다.