[논문 리뷰] My House, My Rules: Learning Tidying Preferences with Graph Neural Networks

Ivan Kapelyukh, Edward Johns|arXiv (Cornell University)|2021. 11. 04.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 사용자가 배열한 장면들로부터 개인화된 공간적 선호도를 학습하는 그래프 신경망 기반 변동형 오토인코더인 NeatNet을 제안한다. 사용자 행동을 저차원 잠재 벡터로 인코딩하고, 단어 임베딩을 활용하여 제로샷 일반화를 실현함으로써, 다양한 재배치 작업과 미리보지 않은 물체에 대해 사용자 평가에서 베이스라인을 능가하는 매우 개인화된 미적 배열을 예측한다.

ABSTRACT

Robots that arrange household objects should do so according to the user's preferences, which are inherently subjective and difficult to model. We present NeatNet: a novel Variational Autoencoder architecture using Graph Neural Network layers, which can extract a low-dimensional latent preference vector from a user by observing how they arrange scenes. Given any set of objects, this vector can then be used to generate an arrangement which is tailored to that user's spatial preferences, with word embeddings used for generalisation to new objects. We develop a tidying simulator to gather rearrangement examples from 75 users, and demonstrate empirically that our method consistently produces neat and personalised arrangements across a variety of rearrangement scenarios.

연구 동기 및 목표

• 로봇 재배치 작업에서 주관적이고 사용자별 공간 선호도를 모델링하는 도전에 대응하기 위해.
• 명시적인 선호도 레이블 없이 관측된 사용자 배열에서 개인화된 선호도를 추론하는 방법을 개발하기 위해.
• 학습된 선호도와 의미적 임베딩을 조합하여 새로운 물체와 미리보지 않은 장면으로의 일반화를 가능하게 하기 위해.
• 대규모 사용자 실험을 통해 시뮬레이션된 정리 환경에서 모델의 개인화 및 일반화 능력을 평가하기 위해.
• 신경망 기반 선호도 모델링이 실제 사용자 평가에서 히وري스틱 및 비개인화된 베이스라인을 능가할 수 있음을 보여주기 위해.

제안 방법

• NeatNet는 그래프 신경망(GNN) 레이어를 갖춘 변동형 오토인코더로, 사용자가 배열한 장면을 저차원 잠재 선호도 벡터로 인코딩한다.
• 각 장면은 물체가 노드이고, 공간 관계가 엣지로 표현되는 그래프로 표현되며, 메시지 전파를 통해 구조적 선호도를 포착한다.
• 물체 이름의 단어 임베딩을 입력 특징으로 사용하여, 추론 시에 새로운 물체에 대한 제로샷 일반화를 가능하게 한다.
• 모델은 75명의 사용자로부터 수집한 재배치 데이터를 기반으로, 자체 개발한 3D 정리 시뮬레이터(TidySim)에서 끝내기로 훈련된다.
• 추론 과정에서 추론된 선호도 벡터를 사용하여 새로운 장면이나 새로운 물체에 대한 개인화된 배열을 예측한다.
• 훈련된 사용자로부터의 개인화된 선호도 인코딩과 학습된 사전 확률를 조합함으로써, 다양한 장면과 물체 유형으로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 신경망은 명시적인 선호도 레이블 없이 관측된 사용자 배열에서 개인화된 공간 선호도를 학습할 수 있는가?
• RQ2 의미 임베딩을 활용하여 훈련 중에 보지 않은 새로운 물체로 일반화할 수 있는가?
• RQ3 단 한 번의 관측된 배열을 바탕으로 새로운, 미리보지 않은 장면에서 개인화된 배열을 예측할 수 있는가?
• RQ4 사용자 평가에서 모델의 성능은 비개인화 또는 히وري스틱 베이스라인과 비교해 어떻게 되는가?
• RQ5 모델은 물체 순서, 접근 가능성, 취약성 고려 사항과 같은 미세한 선호도를 어느 정도 반영하는가?

주요 결과

• NeatNet는 새로운 장면에서 예측된 배열에 대해 평균 사용자 평점 9.65점(10점 만점)을 기록했으며, kNN-Scene-Projection(6.94점)과 Random-User(5.88점)를 크게 앞섰다.
• 훈련 중에 보지 않은 물체를 배치할 때, NeatNet는 모든 물체 유형에서 평균 절대 오차 2.58cm를 기록했으며, Random-Position(16.38cm)과 NeatNet-No-Prefs(11.12cm)를 모두 앞섰다.
• NeatNet는 새로운 장면에서 랩탑과 파란 상자를 성공적으로 일반화했으며, 사용자 평가에서 모든 베이스라인보다 높은 점수를 받았다. 이는 의미적 및 공간 패턴을 추론할 수 있었기 때문이다.
• 모델는 추상적인 장면에서 크기 순서 정렬 패턴을 정확히 외삽하여, 개인 사용자 행동을 초월한 학습된 구조적 사전 지식을 보여주었다.
• 사용자 평가 결과, NeatNet의 예측는 베이스라인 방법보다 항상 더 미적으로 매력적이고 개인화된 것으로 평가되었다.
• NeatNet의 단어 임베딩 사용은 효과적인 제로샷 일반화를 가능하게 했으며, 훈련 데이터에 없던 랩탑과 같은 신규 물체에 대해서도 사용자들이 예측한 배열을 더 선호했다.