[논문 리뷰] A Comparative Evaluation of Approximate Probabilistic Simulation and Deep Neural Networks as Accounts of Human Physical Scene Understanding

Renqiao Zhang, Jiajun Wu외 3명|arXiv (Cornell University)|2016. 05. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 27

한 줄 요약

이 논문은 인간의 물리적 장면 이해를 모델링하는 데 있어 근사적 확률적 시뮬레이션(직관적 물리 엔진, IPE)과 딥 컨volution 신경망(CNN)을 비교한다. 안정성 예측 작업에서 둘 다 높은 정확도를 달성하지만, 유일하게 새로운 구성에 대해 효과적으로 일반화하고 인간과 유사한 판단 비대칭성 및 체계적인 시각적 오류를 재현하는 것은 IPE이다.

ABSTRACT

Humans demonstrate remarkable abilities to predict physical events in complex scenes. Two classes of models for physical scene understanding have recently been proposed: "Intuitive Physics Engines", or IPEs, which posit that people make predictions by running approximate probabilistic simulations in causal mental models similar in nature to video-game physics engines, and memory-based models, which make judgments based on analogies to stored experiences of previously encountered scenes and physical outcomes. Versions of the latter have recently been instantiated in convolutional neural network (CNN) architectures. Here we report four experiments that, to our knowledge, are the first rigorous comparisons of simulation-based and CNN-based models, where both approaches are concretely instantiated in algorithms that can run on raw image inputs and produce as outputs physical judgments such as whether a stack of blocks will fall. Both approaches can achieve super-human accuracy levels and can quantitatively predict human judgments to a similar degree, but only the simulation-based models generalize to novel situations in ways that people do, and are qualitatively consistent with systematic perceptual illusions and judgment asymmetries that people show.

연구 동기 및 목표

• 인간의 물리적 장면 이해를 설명하는 데 있어 시뮬레이션 기반(IPE)과 기억 기반(CNN) 모델을 철저히 비교하기.
• 딥 신경망이 직관적 물리학에서 인간과 유사한 일반화 및 판단 패턴을 설명할 수 있는지 평가하기.
• 딥 신경망이 물리적 장면의 미세한 구조적 변형 간 지식을 전이하는 데서 보이는 한계를 조사하기.
• IPE 모델이 인간의 정성적 인지 현상(예: 판단 비대칭성 및 체계적 오류)을 CNN보다 더 잘 반영하는지 평가하기.
• 현재의 CNN 아키텍처가 인간의 물리 직관에 기반한 인과적 정신 모델을 반영하는지 확인하기.

제안 방법

• 뉴턴 역학과 노이즈를 활용해 불확실성을 모델링하는 근사적 확률적 시뮬레이션을 수행하는 구체적 IPE 모델을 구현했다.
• 안정성 결과가 레이블링된 블록 구조체의 합성 데이터셋을 사용해 여러 CNN 아키텍처(LeNet, AlexNet)를 훈련시켰다.
• 사전 훈련된 ImageNet 가중치(P)를 사용하고 합성 블록 장면에서 미세조정하여 일반화 능력을 향상시켰다.
• 블록 수를 다양하게 조절한(3, 4, 5개) 전이 학습 작업에서 모델의 일반화 능력을 평가했다.
• 동일한 자극에 대해 인간의 판단을 수집하여 모델 성능을 인간의 직관과 비교했다.
• 안정성 예측 정확도와 인간 반응과의 상관관계를 측정하여 모델 성능을 정량화했다.

실험 결과

연구 질문

• RQ1 딥 신경망은 정적 이미지에서 물리적 안정성을 예측하는 데 인간 수준의 정확도를 달성할 수 있는가?
• RQ2 CNN은 블록 수가 다른 새로운 물리적 구성(예: 다른 블록 수)에 대해 인간의 일반화 방식과 유사하게 일반화하는가?
• RQ3 CNN은 인간의 체계적 시각적 오류 및 판단 비대칭성을 물리적 추론에서 재현하는가?
• RQ4 IPE 모델은 피드포워드 신경망보다 인간의 물리 직관의 정성적 구조를 더 잘 반영하는가?
• RQ5 IPE는 재학습 없이도 다양한 장면 복잡도에서 인간 성능을 설명할 수 있는가?

주요 결과

• CNN은 20만 장의 이미지로 훈련된 후 네 블록 안정성 작업에서 초인간적 정확도(~89–95%)를 달성했다.
• 세 블록 및 다섯 블록 구성에서는 네 블록 데이터로 훈련된 CNN의 성능이 우연의 성능 수준(~50%)에 머물러 있어, 0-샷 일반화 능력이 열악함을 보여주었다.
• ImageNet 사전 훈련을 적용한 후에도 AlexNet의 새로운 블록 수(3 또는 5개)에 대한 성능은 낮게 유지되었으며(예: 3개 블록일 경우 51.0%, 5개 블록일 경우 78.5%), 이는 전이 능력에 한계가 있음을 시사했다.
• IPE 모델은 블록 수에 따라 자연스럽게 일반화되었으며, 복잡도가 증가함에 따라 성능이 점진적으로 감소하여 인간의 경향과 유사했다.
• 인간의 평균 성능(68.0%)은 CNN보다 구성 간 일관성이 높았고, IPE 예측과 더 잘 일치했다.
• 유일하게 IPE 모델만 인간과 유사한 체계적 판단 비대칭성 및 시각적 오류(예: 구조적 복잡성과 불안정성 신호에 대한 민감도)를 반영했다.