[논문 리뷰] Unsupervised Object-Based Transition Models for 3D Partially Observable Environments

Antonia Creswell, Rishabh Kabra외 2명|arXiv (Cornell University)|2021. 03. 08.

Advanced Vision and Imaging인용 수 8

한 줄 요약

이 논문은 부분 관찰 가능한 3차원 환경에서 시간에 걸쳐 일관된 객체 정체성과 지속성을 유지하기 위해 슬롯 단위 메모리와 정렬 모듈을 사용하는 비지도, 객체 기반 전이 모델인 Objects-Align-Transition (OAT)을 제안한다. 픽셀 수준의 손실 대신 객체 수준의 손실로 엔드 투 엔드로 훈련함으로써, OAT는 특히 객체가 가림을 입거나 재등장할 때 더 정확한 장기 예측을 달성한다.

ABSTRACT

We present a slot-wise, object-based transition model that decomposes a scene into objects, aligns them (with respect to a slot-wise object memory) to maintain a consistent order across time, and predicts how those objects evolve over successive frames. The model is trained end-to-end without supervision using losses at the level of the object-structured representation rather than pixels. Thanks to its alignment module, the model deals properly with two issues that are not handled satisfactorily by other transition models, namely object persistence and object identity. We show that the combination of an object-level loss and correct object alignment over time enables the model to outperform a state-of-the-art baseline, and allows it to deal well with object occlusion and re-appearance in partially observable environments.

연구 동기 및 목표

• 기존 전이 모델이 부분 관찰 가능한 3차원 환경에서 객체 지속성과 정체성을 다루는 데에 한계가 있음을 해결하기 위해.
• 원시 픽셀이 아닌 분리된 객체 중심 표현을 기반으로 작동함으로써 장기 예측 성능을 향상시키기 위해.
• 가림 상태에서도 객체 연속성을 모델링함으로써 훈련 수준을 넘어서 정확한 예측을 가능하게 하기 위해.
• 시각적 세계 모델링에서 강건한 일반화를 위해 객체 수준의 손실과 시간적 정렬이 모두 필수적임을 입증하기 위해.

제안 방법

• 모델은 입력 이미지에서 슬롯 단위 객체 특징을 생성하기 위해 MONet를 시나리오 분해 및 객체 표현 모듈로 사용한다.
• 정렬 모듈은 슬롯 단위 메모리를 활용하여, 일시적인 가림 동안에도 각 객체가 동일한 슬롯에 일관되게 표현되도록 보장한다.
• 슬롯 단위 전이 모델은 정렬된 표현을 기반으로 미래의 객체 상태를 예측하며, 슬롯 단위 LSTM을 갖춘 트랜스포머로 구현된다.
• 전체 모델은 객체 수준의 손실을 통해 할당 알고리즘을 사용해 예측된 객체와 진짜 객체를 매칭함으로써, 지도 없이 엔드 투 엔드로 훈련된다.
• 객체 수준의 손실은 픽셀 복원을 피하기 위해 표현 벡터에 직접 계산된다.
• 정렬 메커니즘은 객체 정체성과 지속성을 추적할 수 있도록 하며, 객체가 오랫동안 보이지 않는 동안에도 이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 비지도 객체 기반 전이 모델이 부분 관찰 가능한 환경에서 장기적인 시퀀스 동안 일관된 객체 정체성과 지속성을 유지할 수 있는가?
• RQ2 픽셀 수준의 손실 대신 객체 수준의 손실로 훈련하면 일반화 능력과 장기 예측 정확도가 향상되는가?
• RQ3 객체 슬롯의 시간적 정렬이 가림 또는 동적인 환경에서 성능에 어떤 영향을 미치는가?
• RQ4 이러한 모델은 장기적인 가림과 복잡한 상호작용을 포함한 실제 로봇 궤적에 일반화될 수 있는가?

주요 결과

• OAT는 시뮬레이션된 3차원 환경에서 상태 기반 모델인 OP3를 초월하여 장기 예측(최대 15단계)에서 뛰어난 성능을 보이며, 특히 객체 가림 및 재등장 상황에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 객체 수준의 손실과 정렬 모두 필수적임을 입증했다. 둘 중 하나만 제거된 모델은 객체 재등장을 예측하지 못하거나 흐릿하고 정확하지 못한 출력을 생성했다.
• 실제 로봇 암 데이터셋에서 OAT는 51단계 후 완전히 가려진 빨간 객체의 재등장을 성공적으로 예측하여 강력한 객체 지속성 모델링 능력을 입증했다.
• 훈련 수준을 훨씬 초월하는 100단계로 전개했을 때도 OAT는 로봇 암의 운동과 객체 상호작용을 정확하게 유지하며 예측했다.
• 픽셀 수준의 손실로 훈련된 모델은 점점 더 흐릿한 예측을 생성하지만, 객체 수준의 손실은 구조적 명료성과 정체성을 유지한다.
• 슬롯 단위 정렬과 객체 수준의 손실 조합은 모델이 새로운 객체 구성과 장기 의존성에 일반화할 수 있도록 했다.