[논문 리뷰] Unsupervised Discovery of Parts, Structure, and Dynamics

Zhenjia Xu, Zhijian Liu외 5명|arXiv (Cornell University)|2019. 03. 12.

Human Pose and Action Recognition인용 수 25

한 줄 요약

이 논문은 레이어드 이미지 표현, 미분 가능한 구조 기술자, 향후 프레임 예측을 조합하여 레이블이 없는 영상에서 해체 가능하고 계층적인 물체 표현 및 운동 역학을 학습하는 자기지도 학습 프레임워크인 Parts, Structure, and Dynamics (PSD) 모델을 제안한다. PSD는 실재 및 합성 데이터셋에서 인간의 레이블 없이도 비지도 부분 분할, 계층적 구조 발견, 운동 예측에서 최고 성능을 달성한다.

ABSTRACT

Humans easily recognize object parts and their hierarchical structure by watching how they move; they can then predict how each part moves in the future. In this paper, we propose a novel formulation that simultaneously learns a hierarchical, disentangled object representation and a dynamics model for object parts from unlabeled videos. Our Parts, Structure, and Dynamics (PSD) model learns to, first, recognize the object parts via a layered image representation; second, predict hierarchy via a structural descriptor that composes low-level concepts into a hierarchical structure; and third, model the system dynamics by predicting the future. Experiments on multiple real and synthetic datasets demonstrate that our PSD model works well on all three tasks: segmenting object parts, building their hierarchical structure, and capturing their motion distributions.

연구 동기 및 목표

• 레이블이 없는 영상에서 인간의 레이블 없이도 해석 가능한, 분리된 물체 부분을 발견하는 자기지도 학습 모델을 개발하는 것.
• 미분 가능한 구조 기술자를 사용하여 물체 부분의 계층적 조합 구조를 함께 학습하는 것.
• 쌍으로 주어진 영상 프레임만을 사용하여 물체 부분의 향후 운동 역학을 모델링하고 예측하는 것.
• 복잡한 실세계 RGB 영상, 특히 인간의 운동에 대해 최소한의 입력으로 제로샷 일반화를 가능하게 하는 것.
• 모델이 합성 및 실세계 데이터에서 의미 있는 부분 분할, 계층적 관계, 운동 분포를 복원할 수 있는지 검증하는 것.

제안 방법

• PSD 모델은 영상 프레임에서 물체 부분을 식별하고 분할하기 위해 레이어드 이미지 표현을 사용한다.
• 낮은 수준의 부분들을 학습 가능한 구조 매트릭스 S를 통해 계층적 구조로 조합하는 미분 가능한 구조 기술자를 활용한다.
• 두 입력 프레임에서의 향후 프레임 예측에 대한 재구성 손실을 사용하여 모델을 종합적으로 훈련한다.
• 구조 기술자는 신경망 내부의 완전히 미분 가능한 모듈로 통합되어 부분 발견과 계층 학습의 공동 최적화를 가능하게 한다.
• 운동 역학은 향후 프레임 예측을 통해 캡처되며, 잠재 공간 샘플링을 통해 다양한 가능한 미래 시퀀스를 생성한다.
• 운동 모델링을 위해 Liu, 2009의 광학 흐름 추정을 활용하며, 정성적 및 정량적 지표를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 모델은 인간의 레이블 없이도 레이블이 없는 영상에서 분리된 물체 부분을 발견할 수 있는가?
• RQ2 모델은 발견된 물체 부분 간에 의미 있는 계층적 구조를 학습할 수 있는가?
• RQ3 두 개의 입력 프레임만으로도 모델은 물체 부분의 향후 운동 역학을 정확하게 예측할 수 있는가?
• RQ4 모델은 복잡한 실세계 RGB 영상, 특히 복잡한 운동과 구조를 가진 영상에 얼마나 잘 일반화되는가?
• RQ5 학습된 표현이 인간이 인식하는 물체 부분과 관계와 얼마나 잘 해석되고 일치하는가?

주요 결과

• 운동하는 사람 데이터셋에서 PSD 모델은 평균 IoU 0.474를 기록하여 NEM(0.251)과 R-NEM(0.276)을 크게 앞서며 뛰어난 부분 분할 성능을 보였다.
• 요가 데이터셋에서 PSD 모델은 높은 공간 일관성으로 전체 흉부, 상반신, 팔, 다리를 정확히 식별하는 강력한 부분 분할 성능을 보였다.
• 구조 매트릭스 S는 팔이 상반신의 일부이고 다리가 전체 흉부의 일부임을 포함한 계층적 관계를 성공적으로 복원했으며, 그 결과는 그림 13h와 14h의 시각화로 확인되었다.
• 모델은 하나의 잠재 차원이 공격수를, 다른 하나는 공 자체를, 세 번째는 수비수를 나타내며 공을 제어하는 플레이어와의 올바른 역학적 관계를 드러냈다.
• 향후 프레임 합성에서 반복적인 쌍 프레임을 입력으로 사용했을 때, 3DcVAE보다 더 높은 품질의 예측과 더 적은 아티팩트를 생성했다.
• 모델은 여러 시퀀스에 걸쳐 운동 분포를 성공적으로 캡처하여 현실적인 역학을 반영하는 다양한 실현 가능한 미래 프레임을 생성했다.