[논문 리뷰] Modeling 3D Shapes by Reinforcement Learning

Cheng Lin, Tingxiang Fan외 2명|arXiv (Cornell University)|2020. 03. 27.

3D Shape Modeling and Analysis참고 문헌 32인용 수 8

한 줄 요약

이 논문은 인간의 3D 모델링 방식을 모방하기 위해 먼저 형태를 기하학적 원소로 분해하고 나서 그 원소의 메쉬를 편집하는 두 단계의 딥 강화학습 프레임워크인 Prim-Agent와 Mesh-Agent를 제안한다. 히우리스틱 정책, 이mit레이션 학습, 그리고 강화학습을 조합함으로써, 기준 방법들보다 뛰어난 재구성 품질을 갖는 정규화되고 구조 인식 능력을 갖춘 3D 메쉬 모델을 생성하는 데에 성공한다.

ABSTRACT

We explore how to enable machines to model 3D shapes like human modelers using deep reinforcement learning (RL). In 3D modeling software like Maya, a modeler usually creates a mesh model in two steps: (1) approximating the shape using a set of primitives; (2) editing the meshes of the primitives to create detailed geometry. Inspired by such artist-based modeling, we propose a two-step neural framework based on RL to learn 3D modeling policies. By taking actions and collecting rewards in an interactive environment, the agents first learn to parse a target shape into primitives and then to edit the geometry. To effectively train the modeling agents, we introduce a novel training algorithm that combines heuristic policy, imitation learning and reinforcement learning. Our experiments show that the agents can learn good policies to produce regular and structure-aware mesh models, which demonstrates the feasibility and effectiveness of the proposed RL framework.

연구 동기 및 목표

• 강화학습을 통해 인간 예술가들과 유사한 3D 모델링 정책을 학습시킬 수 있도록 하는 것.
• 희소 보상 환경에서 복잡한 3D 기하 구조 편집을 위한 RL 에이전트를 훈련하는 데 도전하는 것.
• 히우리스틱 정책, 이mit레이션 학습, 그리고 강화학습을 효과적으로 융합하여 보다 나은 정책 학습을 위한 훈련 프레임워크를 개발하는 것.
• 기하학적 계층 구조와 토폴로지가 유지되는 정규화되고 구조 인식 능력을 갖춘 3D 메쉬 모델을 생성하는 것.

제안 방법

• 프레임워크는 두 단계의 RL 파이프라인을 사용한다: Prim-Agent는 대상 형태를 기하학적 원소의 집합으로 분해하고, Mesh-Agent는 이러한 원소의 메쉬를 편집한다.
• 에이전트들은 시뮬레이션된 3D 모델링 환경과 상호작용하며, 형태 재구성 품질에 따라 보상을 수신한다.
• 히우리스틱 정책이 '가상의 전문가' 역할을 하여 초기 시범을 생성하고, 이를 상호작용형 이mit레이션 학습 단계에서 활용한다.
• 감독형 이mit레이션 학습과 딥 Q네트워크(DQN)를 결합하고, 훈련을 안정화시키기 위해 새로운 듀얼 리플레이 버퍼 기법을 도입한다.
• 메쉬 편집은 엣지 루프를 통해 수행되어 메쉬의 정규성을 유지하고 복잡한 기하 연산을 제어한다.
• 훈련 파이프라인은 히우리스틱 가이던스, 상호작용형 IL, 그리고 엔드 투 엔드 RL을 통합하여 샘플 효율성과 정책 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 인간의 모델링 워크플로우를 모방하여 3D 형태를 모델링할 수 있는가?
• RQ2 히우리스틱 정책과 이mit레이션 학습은 3D 모델링 RL에서 샘플 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 엣지 루프 기반의 메쉬 편집은 기하학적 정련 과정에서 구조적 정규성을 유지할 수 있는가?
• RQ4 IL과 RL을 융합하면 순수한 RL 또는 IL만을 사용할 때보다 성능이 뛰어나게 되는가?
• RQ5 이 프레임워크는 RGB 이미지나 깊이 맵과 같은 다양한 입력 참조에 일반화될 수 있는가?

주요 결과

• 제안된 방법은 모든 카테고리에서 가장 높은 평균 누적 보상을 기록했으며, 깊이 맵 기반 참조에서 Prim-Agent는 0.179, Mesh-Agent는 0.313의 보상을 기록했다.
• DQfD, DAgger*, 및 표준 DDQN을 포함한 기준 방법들보다 보상 누적 및 재구성 품질 측면에서 모두 뛰어난 성능을 보였다.
• Chamfer 거리(CD) 및 IoU 지표를 통해 제안된 방법은 테스트 세트에서 0.0476의 CD와 0.614의 IoU를 기록하여 고정밀도 형태 재구성 능력을 입증했다.
• 에이전트들은 RGB 이미지를 입력으로 사용할 때도 잘 일반화되었으며, 카테고리별로 Prim-Agent의 평균 보상은 각각 0.721, 0.877, 0.991을 기록했다.
• 실패 사례는 희소 보상 환경에서 얇거나 매우 세밀한 구조를 포착하는 데에 한계가 있음을 드러내었으며, 이러한 영역에서는 보상 형상화가 필요함을 시사한다.
• 제거 실험을 통해 히우리스틱 정책, IL, RL을 모두 융합할 경우 단일 구성 요소만 사용할 때보다 더 나은 성능을 얻을 수 있음을 확인했다.