[論文レビュー] Modeling 3D Shapes by Reinforcement Learning

Cheng Lin, Tingxiang Fan+2 more|arXiv (Cornell University)|Mar 27, 2020

3D Shape Modeling and Analysis参考文献 32被引用数 8

ひとこと要約

本論文では、形状をプリミティブに分解してからメッシュを編集するという人間の3Dモデリングを模倣する二段階のディープレインフォースメントラーニングフレームワーク、Prim-AgentおよびMesh-Agentを提案する。ヒューリスティックポリシー、イミタションラーニング、強化学習を組み合わせることで、ベースライン手法と比較して優れた再構成品質を持つ、規則的で構造に配慮した3Dメッシュモデルを学習する。

ABSTRACT

We explore how to enable machines to model 3D shapes like human modelers using deep reinforcement learning (RL). In 3D modeling software like Maya, a modeler usually creates a mesh model in two steps: (1) approximating the shape using a set of primitives; (2) editing the meshes of the primitives to create detailed geometry. Inspired by such artist-based modeling, we propose a two-step neural framework based on RL to learn 3D modeling policies. By taking actions and collecting rewards in an interactive environment, the agents first learn to parse a target shape into primitives and then to edit the geometry. To effectively train the modeling agents, we introduce a novel training algorithm that combines heuristic policy, imitation learning and reinforcement learning. Our experiments show that the agents can learn good policies to produce regular and structure-aware mesh models, which demonstrates the feasibility and effectiveness of the proposed RL framework.

研究の動機と目的

• 強化学習を用いて人間のアーティストに類似した3Dモデリングポリシーを機械が学習できるようにすること。
• スパarsely sparseな報酬環境における複雑な3Dジオメトリの編集に、強化学習エージェントを効果的に訓練する課題に対処すること。
• ヒューリスティックポリシー、イミターションラーニング、強化学習を効果的に統合する訓練フレームワークを開発し、より良いポリシー学習を実現すること。
• 幾何的階層構造とトポロジーを保持する、規則的で構造に配慮した3Dメッシュモデルを生成すること。

提案手法

• フレームワークは二段階のRLパイプラインを用いる：Prim-Agentがターゲット形状を幾何的プリミティブの集合に分解し、Mesh-Agentがこれらのプリミティブのメッシュを編集する。
• エージェントはシミュレーテッド3Dモデリング環境と相互作用し、形状再構成品質に基づいて報酬を受ける。
• ヒューリスティックポリシーが『バーチャルエキスパート』として機能し、初期のデモンストレーションを生成し、インタラクティブなイミターションラーニングフェーズで使用される。
• 教師付きイミターションラーニングとディープQネットワーク（DQN）を組み合わせ、訓練の安定化に寄与する新規なダブルリプレイバッファ方式を採用する。
• メッシュ編集はエッジループを介して実施され、メッシュの規則性を維持し、複雑なジオメトリック操作を制御する。
• 訓練パイプラインはヒューリスティックガイダンス、インタラクティブなIL、エンドツーエンドのRLを統合し、サンプル効率とポリシー性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、人間のモデリングワークフローを模倣する形で3D形状をモデリングできるか？
• RQ2 ヒューリスティックポリシーとイミターションラーニングは、3DモデリングRLにおけるサンプル効率をどのように向上させるか？
• RQ3 エッジループベースのメッシュ編集は、ジオメトリの精緻化過程で構造的規則性を保てるか？
• RQ4 イミターションラーニングと強化学習を組み合わせることで、純粋なRLやIL単体よりも優れた性能が得られるか？
• RQ5 本フレームワークは、RGB画像や深度マップといった異なる入力リファレンスに対しても一般化可能か？

主な発見

• 提案手法は、すべてのカテゴリで最高の平均蓄積報酬を達成し、深度マップリファレンスではPrim-Agentで0.179、Mesh-Agentで0.313を記録した。
• DQfD、DAgger*、標準的なDDQNといったベースライン手法と比較して、報酬蓄積および再構成品質の両面で優れた性能を示した。
• Chamfer距離（CD）とIoU指標では、テストセットで0.0476のCDと0.614のIoUを達成し、高精度な形状再構成を実現した。
• エージェントはRGB画像を入力として用いる場合にも良好に一般化し、Prim-Agentの各カテゴリで平均報酬0.721、0.877、0.991を達成した。
• 失敗事例から、スパースな報酬のため、細い構造や高精細な構造を捉える能力に限界があることが判明し、このような領域では報酬形状化の必要性が示唆された。
• アブレーションスタディにより、ヒューリスティックポリシー、IL、RLを組み合わせることで、単体の各コンponentよりも優れた性能が得られることを確認した。