[논문 리뷰] Brick-by-Brick: Combinatorial Construction with Deep Reinforcement Learning

Hyunsoo Chung, Jungtaek Kim외 5명|arXiv (Cornell University)|2021. 10. 29.

Reinforcement Learning in Robotics참고 문헌 45인용 수 9

한 줄 요약

이 논문은 LEGO와 유사한 브릭을 사용하여 불완전한 2D 목표 시각 정보에서 3D 물체를 조합적으로 조립하는 데 위한 새로운 강화학습 프레임워크인 Brick-by-Brick(B³)을 소개한다. 조립 과정을 순차적 그래프 생성으로 모델링하고, 유효한 동작을 사전에 예측하는 네트워크를 도입하여 잘못된 이동을 걸러내어, 장기적인 계획 수립이 가능하고 샘플 효율성이 높으며, 부분적 지도 하에 높은 정확도로 미리 보지 않은 물체를 성공적으로 조립할 수 있다.

ABSTRACT

Discovering a solution in a combinatorial space is prevalent in many real-world problems but it is also challenging due to diverse complex constraints and the vast number of possible combinations. To address such a problem, we introduce a novel formulation, combinatorial construction, which requires a building agent to assemble unit primitives (i.e., LEGO bricks) sequentially -- every connection between two bricks must follow a fixed rule, while no bricks mutually overlap. To construct a target object, we provide incomplete knowledge about the desired target (i.e., 2D images) instead of exact and explicit volumetric information to the agent. This problem requires a comprehensive understanding of partial information and long-term planning to append a brick sequentially, which leads us to employ reinforcement learning. The approach has to consider a variable-sized action space where a large number of invalid actions, which would cause overlap between bricks, exist. To resolve these issues, our model, dubbed Brick-by-Brick, adopts an action validity prediction network that efficiently filters invalid actions for an actor-critic network. We demonstrate that the proposed method successfully learns to construct an unseen object conditioned on a single image or multiple views of a target object.

연구 동기 및 목표

• 완전한 부피 지도 없이 2D 이미지나 다수의 시점과 같은 불완전한 목표 정보에서 3D 물체를 조립하는 문제에 대응하기 위해.
• 비겹침 및 고정된 연결 규칙과 같은 복잡한 제약 조건이 있는 조합적 구성 문제로 순차적 브릭 배치 과정을 모델링하기 위해.
• 행동 공간의 크기가 변동하고 유효하지 않은 동작의 비율이 높은 환경에서 장기적 계획과 동작 선택이 가능한 강화학습 에이전트를 개발하기 위해.
• 사전 학습된 유효성 예측 네트워크를 사용해 유효하지 않은 동작을 필터링하는 스케일러블하고 효율적인 방법을 설계하여 샘플 효율성과 학습 안정성을 향상시키기 위해.
• 다양한 부분적 목표 정보 수준에서의 조립 시나리오에 대해 평가하여, 훈련 중에 볼 수 없었던 물체로의 일반화 능력을 입증하기 위해.

제안 방법

• 조립 과정을 순차적 그래프 생성 작업으로 공식화하여, 각 브릭을 노드로, 연결을 간선으로 간주함으로써 구조적인 상태 표현을 가능하게 한다.
• 그래프 기반 상태 표현은 이미 조립된 브릭들의 현재 구성과 상호 연결성을 캡처하며, 장기적 계획 수립과 상태 추적을 지원한다.
• 사전 학습된 동작 유효성 예측 네트워크를 통해 유효하지 않은 동작(예: 겹치는 브릭)을 사전에 식별하고 제거함으로써 액터-크리틱 네트워크에 전달되기 전에 효과적인 행동 공간을 크게 줄인다.
• 액터-크리틱 기반 강화학습 프레임워크는 현재 조립된 물체와 목표 물체 간의 교차율(IoU)을 기반으로 밀도 높은 보상 함수를 설계하여 목표 형태와의 일치를 장려한다.
• 환경는 OpenAI Gym에 구현되어 있으며, 단일 시점 및 다중 시점 이미지 입력과 같은 다양한 조건화 시나리오를 지원한다.
• 행동은 기존 브릭의 유효한 연결 지점에서 새로운 $2\times4$ 브릭을 부착하는 것으로 정의되어 있어, 구조적 일관성을 보장한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 명시적인 단계별 지시 없이도 불완전한 2D 목표 시각 정보에서 3D 물체를 조립할 수 있는가?
• RQ2 사전 학습된 동작 유효성 예측 네트워크는 유효하지 않은 동작 비율이 높은 조합적 조립 작업에서 탐색 공간을 얼마나 효과적으로 줄이고 샘플 효율성을 향상시키는가?
• RQ3 그래프 기반 상태 표현은 얼마나 효과적으로 장기적 계획 수립과 훈련 데이터에 없던 목표 물체로의 일반화를 지원하는가?
• RQ4 단일 시점 대비 다중 시점 입력과 같은 목표 정보 완전성 수준의 변화에 따라 메서드의 성능는 어떻게 변하는가?
• RQ5 부분적 시각 지도만 제공되었을 때, 훈련 중에 볼 수 없었던 새로운 물체 형태로 일반화가 가능한가?

주요 결과

• 제안된 Brick-by-Brick(B³) 방법은 단일 2D 이미지나 다중 시점에서 훈련되지 않은 3D 물체를 성공적으로 조립하여, 부분적 지도 하에서도 뛰어난 일반화 능력을 입증한다.
• 동작 유효성 예측 네트워크는 유효하지 않은 동작을 필터링하여 학습 효율성을 크게 향상시키며, 효과적인 행동 공간을 줄이고 롤아웃 중 비용이 많이 드는 겹침 검사를 피하는 데 기여한다.
• 복잡한 3D 형태의 조립에서 높은 성공률를 달성하며, 제공되는 목표 시점 수가 많아질수록 성능이 향상되어 입력의 완전성에 민감함을 보인다.
• 그래프 기반 표현은 효과적인 장기적 계획 수립과 상태 추적을 가능하게 하여, 조립 과정 전반에 걸쳐 구조적 일관성을 유지하는 데 기여한다.
• IoU 기반 보상 함수는 에이전트가 목표 형태에 가까운 형태로 진행하도록 효과적으로 이끌며, 높은 IoU 값과 높은 조립 정확도 간의 상관관계를 보인다.
• 훈련 분포 외의 새로운 물체 형태로도 일반화가 잘 되며, 부분적 시각 입력으로부터 조합적이고 의미적인 이해를 학습할 수 있음을 확인한다.