[논문 리뷰] Unsupervised Discovery of 3D Physical Objects from Video

Yilun Du, Kevin A. Smith외 3명|arXiv (Cornell University)|2020. 07. 24.

3D Shape Modeling and Analysis참고 문헌 45인용 수 11

한 줄 요약

POD-Net는 애너테이션 없이 비디오에서 운동 및 물리적 일관성을 활용하여 3D 물체를 자율적으로 탐지하는 자기지도 학습 3D 물체 탐지 모델이다. 다중 척도 시각적 신호와 물리 기반 역학을 결합함으로써 뛰어난 3D 물체 분할 성능를 달성하고, 물리적 타당성에 대한 추론을 가능하게 하여 합성 및 실세계 데이터셋에서 이전의 비지도 방법들을 능가한다.

ABSTRACT

We study the problem of unsupervised physical object discovery. While existing frameworks aim to decompose scenes into 2D segments based off each object's appearance, we explore how physics, especially object interactions, facilitates disentangling of 3D geometry and position of objects from video, in an unsupervised manner. Drawing inspiration from developmental psychology, our Physical Object Discovery Network (POD-Net) uses both multi-scale pixel cues and physical motion cues to accurately segment observable and partially occluded objects of varying sizes, and infer properties of those objects. Our model reliably segments objects on both synthetic and real scenes. The discovered object properties can also be used to reason about physical events.

연구 동기 및 목표

• 다양한 장면에 일반화 가능한 비지도 방법을 개발하여 비디오에서 3D 물리적 물체를 탐지하는 것.
• 운동 및 물리적 제약 조건을 활용하여 가림 및 소형 물체와 같은 도전적인 조건에서도 물체 분할 성능을 향상시키는 것.
• 다음 물리적 추론 작업(예: 비현실적인 사건 탐지)을 지원할 수 있는 장면 표현을 학습하는 것.
• 개발 심리학에서의 물체 인지 통찰과 기계 학습 기반의 물체 탐지 모델 간 격차를 메우는 것.

제안 방법

• POD-Net는 다중 척도 국소 패치에 걸쳐 장면 분해를 인자화하는 시각 생성 모델을 사용하여 물체 기반 표현을 추론한다.
• 물리적 일관성을 강제하는 역학 모델을 통합하여 물체가 부드럽고 지속적으로 움직이도록 보장한다.
• 발견된 물체 상태를 바탕으로 향후 상태 예측을 장려하는 자기지도 목적 함수를 통해 시각적 및 역학적 구성 요소를 연결한다.
• 물체 지속성과 부드러운 운동은 비물리적 전이를 방지하는 가분리 가능한 물리 기반 손실을 통해 강제된다.
• 어텐션 메커니즘을 사용하여 국소 패치 예측을 융합하여 전역적이고 일관된 물체 마스크를 얻는다.
• 모델은 인간 애너테이션된 물체 마스크나 3D 감독 없이 비디오 데이터에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 운동 및 물리적 일관성은 외관 신호만을 사용하는 것과 비교해 비지도 3D 물체 탐지 성능을 향상시키는가?
• RQ2 자기지도 모델은 다중 척도 시각적 및 물리적 신호를 활용하여 부분적으로 가려진 또는 소형 물체를 올바르게 분할할 수 있는가?
• RQ3 발견된 3D 물체 표현은 동적인 장면에서 물리적 타당성에 대한 추론을 지원할 수 있는가?
• RQ4 물체 영속성과 부드러운 운동을 통합할 경우 분할 정확도 및 일반화 능력은 어떻게 향상되는가?

주요 결과

• POD-Net는 물리적 위반 탐지 작업에서 블록 태스크에서 상대적 정확도 0.622를 달성하여, GAN(0.44) 및 LSTM(0.44)과 같은 비지도 기준 모델을 능가한다.
• 오버턴(롱) 태스크에서는 상대적 정확도 0.77를 기록하여 Smith 등(2019)의 기준 모델을 초월하고 최고의 비지도 모델들과 동등한 성능을 보였다.
• 다중 척도 특징과 물리적 일관성을 함께 사용할 경우, 가림 상태에서도 탑재된 모든 블록을 성공적으로 분할한다. 반면, 물체를 놓치거나 융합하는 모델들과는 달리.
• 다중 척도 및 물리 제약 조건을 갖춘 POD-Net은 개별 블록을 정확히 분리하지만, 단일 척도 또는 비물리적 변형은 미세한 물체 경계를 해결하지 못한다.
• 정상적인 운동 동안 모델은 낮은 놀라움( surprisal )을 생성하지만, 순간이동과 같은 비정상적 이동은 공간 연속성과 물체 영속성 위반을 인식함으로써 탐지한다.
• POD-Net은 자기지도 학습에 물리적 사전 지식를 통합할 경우 분할 품질과 후속 추론 성능 모두가 향상됨을 보여준다.