[논문 리뷰] Relational inductive bias for physical construction in humans and machines

Jessica B. Hamrick, Kelsey R. Allen외 5명|arXiv (Cornell University)|2018. 06. 04.

Design Education and Practice참고 문헌 33인용 수 62

한 줄 요약

논문은 관계적 귀납 편향—구조화된 객체- 및 관계 중심 표현—이 물리적 구성 작업을 효과적으로 가능하게 하며, 그래프 네트워크 기반 RL 에이전트가 글루잉(task)을 인간과 비관계 기반 기준선보다 우수하게 수행한다.

ABSTRACT

While current deep learning systems excel at tasks such as object classification, language processing, and gameplay, few can construct or modify a complex system such as a tower of blocks. We hypothesize that what these systems lack is a "relational inductive bias": a capacity for reasoning about inter-object relations and making choices over a structured description of a scene. To test this hypothesis, we focus on a task that involves gluing pairs of blocks together to stabilize a tower, and quantify how well humans perform. We then introduce a deep reinforcement learning agent which uses object- and relation-centric scene and policy representations and apply it to the task. Our results show that these structured representations allow the agent to outperform both humans and more naive approaches, suggesting that relational inductive bias is an important component in solving structured reasoning problems and for building more intelligent, flexible machines.

연구 동기 및 목표

• 인간과 기계의 물리적 구성 능력에서 관계적 추론의 역할을 논의하고 동기를 부여한다.
• 블록 간의 관계가 중력 하에서의 안정성에 어떤 영향을 미치는지 연구하기 위해 접합 작업을 도입한다.
• 객체- 및 관계 중심 표현을 갖춘 그래프 네트워크 기반의 심층 RL 에이전트를 개발한다.
• 접합 작업 및 제어 작업에서 관계적 에이전트와 비관계적 에이전트, 그리고 인간을 실험적으로 비교한다.

제안 방법

• 블록의 탑과 중력 하의 불안정한 구조를 안정시키기 위한 접합 메커니즘을 정의한다.
• 장면을 노드(블록), 에지(접합 관계), 글로벌(탑의 안정성)로 구성된 그래프로 표현하고 그래프 네트워크를 적용하여 관계를 인코딩/예측한다.
• RL 에이전트(MLP, GN-FC, GN)와 시뮬레이션 기반 기준선을 훈련시키고, 그래프 에미시(전령)로부터 Q-값 또는 행동 정책을 평가한다.
• 다양한 탑 크기에서 안정성 예측과 최적의 접합 위치를 평가하기 위해 지도 학습 실험을 사용한다.
• 탑 크기에 따른 성능을 비교하고 훈련에 사용되지 않은 블록 수에 대한 일반화를 평가한다.

실험 결과

연구 질문

• RQ1 비관계적 접근 방식에 비해 관계적 귀납 편향이 물리적 구성 작업에서 더 나은 성능을 가능케 하는가?
• RQ2 그래프 네트워크 기반 정책이 글루잉 작업에서 인간 및 모델-프리 기준선과 어떻게 비교되는가?
• RQ3 명시적 물리적 추론(시뮬레이션)과 순수 관계적 추론이 작업 성능에 미치는 영향은 무엇인가?
• RQ4 관계 구조가 훈련 범위를 넘어 더 크거나 보지 않은 타워 크기에 일반화할 수 있는가?
• RQ5 인간이 보이는 행태적 패턴과 전략은 무엇이며 GN 기반 에이전트와 어떻게 다른가?

주요 결과

• 그래프 네트워크를 통한 관계적 귀납 편향은 MLP 및 GN-FC 기반선에 비해 성능을 크게 향상시킨다.
• 올바른 관계 구조를 가진 GN 에이전트는 완전 연결 GN-FC 에이전트보다 더 높은 보상과 더 나은 일반화를 달성한다.
• 명시적 물리 지식을 갖춘 시뮬레이션 기반 에이전트가 최고를 수행하지만 GN 기반 에이전트는 여전히 비관계적 기준선보다 우수하므로 관계 구조가 결정적임을 시사한다.
• 인간은 확률을 넘게 수행하고 상단에서 하단으로의 전략을 보이며 첫 접합 결정이 느린 편이다; GN 에이전트는 인간에 비해 잘못된 행동이 적다.
• 일반화: GN 에이전트는 보지 않은 타워 크기(7 및 10 블록)에서도 큰 감소 없이 견고한 성능을 보이며, GN-FC는 더 큰 탑으로外 확장하는 데 어려움을 겪고; MLP는 크기에 걸친 일반화에 실패한다.