[논문 리뷰] TIDEE: Tidying Up Novel Rooms using Visuo-Semantic Commonsense Priors

Gabriel Sarch, Zhaoyuan Fang외 5명|arXiv (Cornell University)|2022. 07. 21.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

TIDEE는 시각-언어 공통지식 추론 프레임워크를 제안하여 로봇의 방 정리 작업을 수행한다. 이는 그래프 컬러이션 네트워크(rGCN)를 사용해 타당한 수납 공간의 맥락을 추론하고, 언어 조건부 이질감지기로 잘못된 위치에 놓인 물체를 우선순위 정렬한다. 3D 의미 맵핑, FMM 기반 탐색, 학습 가능한 언어 사전 지식을 통합함으로써 TIDEE는 2021년 재배치 도전 대회에서 8.9% FixedStrict 및 2.6% 성공률을 기록하여 기준 모델을 크게 앞서며, 자연어 지시를 통한 동적 배치 사전 지식 조정이 가능하다.

ABSTRACT

We introduce TIDEE, an embodied agent that tidies up a disordered scene based on learned commonsense object placement and room arrangement priors. TIDEE explores a home environment, detects objects that are out of their natural place, infers plausible object contexts for them, localizes such contexts in the current scene, and repositions the objects. Commonsense priors are encoded in three modules: i) visuo-semantic detectors that detect out-of-place objects, ii) an associative neural graph memory of objects and spatial relations that proposes plausible semantic receptacles and surfaces for object repositions, and iii) a visual search network that guides the agent's exploration for efficiently localizing the receptacle-of-interest in the current scene to reposition the object. We test TIDEE on tidying up disorganized scenes in the AI2THOR simulation environment. TIDEE carries out the task directly from pixel and raw depth input without ever having observed the same room beforehand, relying only on priors learned from a separate set of training houses. Human evaluations on the resulting room reorganizations show TIDEE outperforms ablative versions of the model that do not use one or more of the commonsense priors. On a related room rearrangement benchmark that allows the agent to view the goal state prior to rearrangement, a simplified version of our model significantly outperforms a top-performing method by a large margin. Code and data are available at the project website: https://tidee-agent.github.io/.

연구 동기 및 목표

• 새로운 비정형 환경에서 물체가 잘못 놓여지고 수납 공간의 맥락이 모호한 상황에서 로봇의 방 정리 과제를 해결하기 위해.
• 장면 맥락과 물체 간 관계에서 유도된 시각-언어 공통지식 사전 지식을 활용하여 물체 배치 정확도를 향상시키기 위해.
• 학습 후 자연어 지시를 통한 미세조정을 통해 배치 사전 지식을 동적으로 조정할 수 있도록 하여 에이전트가 새로운 맥락 규칙을 학습할 수 있도록 하기 위해.
• 3D 의미 맵핑, FMM 기반 탐색, 이중 단계 감지 파이프라인을 통합한 견고한 종단 간 시스템을 개발하여 이질적인 물체의 위치 특정 및 배치를 수행하기 위해.
• 2021년 및 2022년 재배치 도전 대회와 같은 표준화된 벤치마크에서 성능을 평가하여 새로운 환경으로의 일반화 능력을 입증하기 위해.

제안 방법

• TIDEE는 RGB-D 관측 자료에서 2D 및 3D 공간 맵을 구축하며, 116개의 물체 카테고리와 3D 중심점으로 구성된 동적 물체 메모리를 유지하는 3D 의미 점유 맵을 유지한다.
• 2D 물체 감지를 위해 dDETR 감지기를 사용하고, 깊이 데이터와 가우시안 필터링을 활용해 경계 상자들을 3D로 투영함으로써 더 신뢰도가 낮은 3D 감지기 의존도를 줄인다.
• 3D 장면 내 물체와 수납 공간 간의 관계를 모델링함으로써 타당한 수납 공간 맥락을 추론하기 위해 그래프 컬러이션 네트워크(rGCN)를 사용한다.
• 경로 계획 및 탐색을 위해 빠른 이동 방법(Fast Marching Method, FMM)을 활용하며, 탐색은 2D 점유 맵에서 탐색되지 않은 이동 가능한 영역을 샘플링하여 유도한다.
• 자연어를 조건으로 하는 이질감지기(BERT-OOP)는 관계-라벨 쌍(예: '알람 시계는 책상 위에 놓여져 있음' → '이질적')을 사용해 미세조정하여 자연어를 통한 새로운 공통지식 사전 지식을 통합한다.
• 배치에 실패할 경우, TIDEE는 수납 공간을 열거나 후보 위치 집합에서 가장 먼 점 샘플링을 통해 일반적인 수납 공간을 탐색한다.

Figure 1: Example images of out-of-place objects.

실험 결과

연구 질문

• RQ1 시각-언어 공통지식 사전 지식은 새로운 비정형 실내 환경에서 로봇의 물체 배치 성능을 향상시키는가?
• RQ2 학습된 물체-수납 공간 관계 모델(rGCN)은 새로운 방과 물체 구성에 얼마나 잘 일반화되는가?
• RQ3 자연어 지시는 에이전트가 '이질적'으로 간주되는 물체의 인식을 얼마나 효과적으로 동적으로 변경할 수 있는가?
• RQ4 TIDEE는 기존 방법과 비교해 2021년 및 2022년 재배치 도전 대회와 같은 표준 벤치마크에서 어떤 성능을 보이는가?
• RQ5 3D 의미 맵핑과 FMM 기반 탐색의 통합은 탐색 및 작업 성공률에 어떤 영향을 미치는가?

주요 결과

• TIDEE는 2021년 재배치 도전 대회에서 8.9% FixedStrict 및 2.6% 성공률을 기록하여 기준 모델인 Weihs 등 [RoomR]의 1.4% FixedStrict 및 0.3% 성공률을 크게 앞섰다.
• 노이즈가 있는 자세 정보나 추정된 깊이 정보를 추가했을 때 성능이 약간 떨어졌으며, 각각 6.6% FixedStrict 및 1.4% 성공률을 기록하여 센서 노이즈에 대해 강건함을 입증했다.
• 자연어 지시 미세조정을 통해 목표 관계에 대한 이질감지 신뢰도가 뚜렷이 향상되었으며, 예를 들어 '알람 시계는 책상 위에 놓여져 있음'의 경우 0.10에서 0.70으로 상승했고, '신문은 소파 위에 놓여져 있음'은 0.43에서 0.98로 상승했다.
• 시각적 탐색 네트워크는 타당한 물체 위치에서 높은 확률의 예측을 생성했지만, 일부 잘못된 경고가 발생했으며(예: 침대 근처에 서랍장이 있을 경우), 이는 주로 재현력 중심의 훈련으로 인한 것으로 보인다.
• rGCN를 통한 수납 공간 사전 지식 추론을 활용할 경우, 잘못된 위치에 놓인 물체를 탐지하고 배치하는 능력이 크게 향상되어 2021년 기준에서 오류 배치 비율이 95%까지 감소했다.
• 의미 맵핑, 맥락 인식 탐색, 자연어 조건 사전 지식 기반 적응형 추론을 통합함으로써 TIDEE는 새로운 방에 대해 효과적인 일반화 능력을 보였다.

Figure 2: Example images shown to Amazon Mechanical Turk evaluators.