[논문 리뷰] Object Permanence Emerges in a Random Walk along Memory

Pavel Tokmakov, Allan Jabri외 2명|arXiv (Cornell University)|2022. 04. 04.

Human Pose and Action Recognition인용 수 6

한 줄 요약

이 논문은 비지도 학습 대비 무작위 보행 목적함수를 제안하여, 음영 처리된 물체에 대한 명시적 애너테이션 없이도 시공간 기억 표현의 시간적 일관성을 최적화함으로써 영상 모델에서 물체의 지속성(Permanence)을 가능하게 한다. 이 방법은 전후 음영 처리된 상태의 진짜 중심값을 이용한 암묵적 지도를 통해 음영 기간 동안 물체의 위치를 유지하고 예측하도록 학습하며, 최소한의 지도 정보로도 합성 및 실제 세계 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper proposes a self-supervised objective for learning representations that localize objects under occlusion - a property known as object permanence. A central question is the choice of learning signal in cases of total occlusion. Rather than directly supervising the locations of invisible objects, we propose a self-supervised objective that requires neither human annotation, nor assumptions about object dynamics. We show that object permanence can emerge by optimizing for temporal coherence of memory: we fit a Markov walk along a space-time graph of memories, where the states in each time step are non-Markovian features from a sequence encoder. This leads to a memory representation that stores occluded objects and predicts their motion, to better localize them. The resulting model outperforms existing approaches on several datasets of increasing complexity and realism, despite requiring minimal supervision, and hence being broadly applicable.

연구 동기 및 목표

• 직접적인 지도가 불가능하거나 노이즈가 심한 상황에서 전체 음영 처리 상황에서 물체를 정위치하는 문제를 해결하기 위해.
• 보이지 않는 물체 위치에 대한 히어리스틱 역학 사전 지식이나 고밀도 인간 애너테이션에 의존하지 않기 위해.
• 자기 지도 학습 목적함수를 통해 데이터에서 자연스럽게 물체 지속성이 유도되도록 하기 위해.
• 음영 기간 동안에도 공간적으로 기반을 둔, 물체 중심의 표현을 메모리에 유지할 수 있는 방법을 개발하기 위해.
• 최소한의 지도 정보로도 합성 및 실제 세계 영상 데이터셋 간의 일반화 성능을 입증하기 위해.

제안 방법

• 이 방법은 시퀀스 인코더에서 유도된 메모리 상태의 그래프에서 시간-공간 대응을 마르코프 보행으로 모델링한다.
• 그래프의 각 노드는 주어진 시간 단계에서 2차원 공간 메모리 특징 맵 상의 잠재적 물체 위치를 나타낸다.
• 무작위 보행은 음영 전후의 핵심 프레임에서만 지도가 되며, 진짜 물체 중심값을 사용한다.
• 대조 손실은 보행자가 음영 영역을 지나간 후 올바른 위치로 되돌아오도록 유도하여, 암묵적으로 메모리 표현을 지도한다.
• 모델은 국소적 이웃 기반 그래프 연결성과 $3\times3$ 커널을 가진 풀링 헤드를 사용하여 특징 해상도와 정밀도를 향상시킨다.
• 라벨 스무딩과 중심 중첩 방지 제약 조건을 적용하여 최적화 안정성 향상과 잡음 신호 감소를 도모한다.

실험 결과

연구 질문

• RQ1 보이지 않는 물체 위치에 대한 명시적 애너테이션 없이도 비지도 학습 방식으로 물체 지속성이 유도될 수 있는가?
• RQ2 진화하는 공간 메모리에서 대조적 무작위 보행이 음영 기간 동안 물체 중심 표현을 유지하는 데 얼마나 효과적인가?
• RQ3 이 방법은 복잡도와 현실성 증가하는 데이터셋, 특히 실제 영상 데이터셋으로도 일반화 가능한가?
• RQ4 모델은 비결정론적 행동에서의 불확실성을 반영하여 음영 처리된 물체 운동에 대해 다수의 가설을 유지할 수 있는가?
• RQ5 목적함수의 어떤 구성 요소가 성능에 가장 중요한 영향을 미치며, 정밀도에 어떤 영향을 미치는가?

주요 결과

• 제안된 비지도 학습 방법은 PD 벤치마크에서 72.0 mAP를 달성하여, 보이지 않는 물체에 대한 진짜 레이블을 사용하지 않는다는 점에서 완전히 지도 학습 기반 베이스라인(71.1 mAP)을 능가한다.
• KITTI 데이터셋에서 모델은 동시에 여러 개의 음영 처리된 물체를 정확히 정위치하고, 미세조정 없이도 실제 세계 시나리오로 일반화된다.
• 제거 분석 결과, 국소적 노드 이웃성과 $3\times3$ 풀링 커널을 사용할 경우 전역 풀링 대비 mAP가 1.7 포인트 향상된다.
• 라벨 스무딩은 mAP를 2.3 포인트 향상시켜 최적화 안정성 향상과 불확실성 처리 능력 향상을 확인한다.
• 음영 물체와 음영자 간 중심 중첩을 방지함으로써 mAP가 2.3 포인트 향상되어, 이 제약 조건이 잡음 신호 감소에 중요한 역할을 함을 입증한다.
• 모델은 예를 들어 회전 중인 차량에 대해 다수의 운동 가설을 유지함으로써, 비결정론적 행동에서의 불확실성 하에 확률적 추론을 수행함을 보여주며, 이는 실제 세계의 역학적 행동에 필수적이다.