[論文レビュー] RL-GAN-Net: A Reinforcement Learning Agent Controlled GAN Network for Real-Time Point Cloud Shape Completion

Muhammad Sarmad, Hyunjoo J. Lee+1 more|arXiv (Cornell University)|Apr 28, 2019

3D Shape Modeling and Analysis参考文献 35被引用数 7

ひとこと要約

RL-GAN-Net は、生成対抗ネットワーク（GAN）を強化学習（RL）エージェントが制御することで、リアルタイムで不完全な3次元点群を補完する。低次元の潜在空間表現上で動作し、RLエージェントが最適な GAN ノイズベクトルを選択することで、70% の欠損データがあっても高精細な補完を達成。定量的および定性的なベンチマークにおいて、自己符号化器とボクセルベースの GAN より優れた性能を発揮するとともに、下流の分類タスクの精度も向上する。

ABSTRACT

We present RL-GAN-Net, where a reinforcement learning (RL) agent provides fast and robust control of a generative adversarial network (GAN). Our framework is applied to point cloud shape completion that converts noisy, partial point cloud data into a high-fidelity completed shape by controlling the GAN. While a GAN is unstable and hard to train, we circumvent the problem by (1) training the GAN on the latent space representation whose dimension is reduced compared to the raw point cloud input and (2) using an RL agent to find the correct input to the GAN to generate the latent space representation of the shape that best fits the current input of incomplete point cloud. The suggested pipeline robustly completes point cloud with large missing regions. To the best of our knowledge, this is the first attempt to train an RL agent to control the GAN, which effectively learns the highly nonlinear mapping from the input noise of the GAN to the latent space of point cloud. The RL agent replaces the need for complex optimization and consequently makes our technique real time. Additionally, we demonstrate that our pipelines can be used to enhance the classification accuracy of point cloud with missing data.

研究の動機と目的

• 遮蔽、センサーノイズ、または視野角の制限による大規模な欠損領域を有する 3 次元点群の補完という課題に対処すること。
• 点群補完における GAN の不安定性と訓練の難易度を、潜在空間表現と RL 制御を用いることで克服すること。
• 反復的最適化の代わりに RL エージェントによる高速な行動選択を用いることで、リアルタイム推論を実現すること。
• 形状補完を前処理として適用することで、不完全な点群に対する下流の分類タスクの精度を向上させること。
• 深層強化学習を用いて GAN の出力を制御し、3 次元形状補完に応用するという新手法を確立すること。

提案手法

• 事前に訓練された自己符号化器（AE）が、入力の部分点群を低次元の潜在空間表現に変換する。
• GAN は完全な形状の潜在空間表現を学習することで、有効な点群構造の分布を学習する。
• RL エージェントは符号化された部分点群を観測し、生成器に入力するノイズベクトル $ z $ を選択して、完成した形状の潜在表現を生成する。
• RL エージェントは、生成された潜在表現と真値との類似度に基づく報酬信号を最大化するように訓練され、チェイミング距離を代理指標として用いる。
• ハイブリッド版では、事前に訓練された GAN 判別器を用いて、AE と RL-GAN-Net が生成した形状のうちより良い方を選択し、全体的な一貫性を保証する。
• 最終的な完成点群は、選択された潜在表現から復号され、リアルタイムで出力される。

Figure 1 : Qualitative results of point cloud shape completion given input data missing 70% of its original points. We present RL-GAN-Net, which observes a partial input point cloud data ( $P_{in}$ ) and completes the shape within a matter of milliseconds. Even when input is severely distorted, our

実験結果

リサーチクエスチョン

• RQ1 反復的最適化を用いないで、強化学習エージェントが GAN を効果的に制御して高精細な点群補完を生成できるか？
• RQ2 70% の点が欠損しているような点群において、RL-GAN-Net は自己符号化器やボクセルベースの GAN より優れた性能を発揮するか？
• RQ3 RL-GAN-Net パイプラインを前処理として適用することで、下流の点群分類タスクの精度が向上するか？
• RQ4 バックプロパゲーションに基づく最適化と比較して、RL エージェントによる GAN の潜在空間制御はより強固で高速か？
• RQ5 ハイブリッドな判別器ベースの選択手法を用いることで、最終的な完成形状の品質と一貫性が向上するか？

主な発見

• ShapeNet データセットにおいて、RL-GAN-Net は真値とのチェイミング距離が 0.0531 にまで低下し、自己符号化器（0.162）と $128^3$ 解像度のボクセルベース手法（0.169）を上回った。
• 70% の元の点が欠損している状況でも、RL-GAN-Net は局所的細部や意味的対称性を自己符号化器の手法よりもよく保持した高精細な補完を実現した。
• PointNet の分類精度は、生の不完全なデータでは 50.2% であったが、RL-GAN-Net を用いた補完により 82.5% に上昇し、70% 欠損データ下での自己符号化器ベースのパイプラインを著しく上回った。
• ハイブリッドな RL-GAN-Net + 判別器バージョンでは、50% 欠損データ下で 93.3% の分類精度を達成したのに対し、自己符号化器ベースの手法では 80.4% にとどまった。
• RL エージェントによりリアルタイム推論が可能となり、ミリ秒単位で形状を補完することができ、遅い最適化ベースの GAN 逆問題の必要性が解消された。
• ノイズに強く、入力点群にガウスノイズ（σ = 0.01）が加えられても、高い性能を維持した。

Figure 2 : The forward pass of our shape completion network. By observing an encoded partial point cloud, our RL-GAN-Net selects an appropriate input for the latent GAN and generates a cleaned encoding for the shape. The synthesized latent representation is decoded to get the completed point cloud i