[논문 리뷰] RL-GAN-Net: A Reinforcement Learning Agent Controlled GAN Network for Real-Time Point Cloud Shape Completion

Muhammad Sarmad, Hyunjoo J. Lee외 1명|arXiv (Cornell University)|2019. 04. 28.

3D Shape Modeling and Analysis참고 문헌 35인용 수 7

한 줄 요약

RL-GAN-Net는 실시간으로 불완전한 3D 포인트 클라우드를 보완하기 위해 강화학습(RL) 에이전트가 생성적 적대적 네트워크(GAN)를 제어하는 방법을 제안한다. 감소된 잠재공간 표현을 기반으로 하며, RL 에이전트가 최적의 GAN 노이즈 벡터를 선택함으로써 70%의 데이터가 손실된 경우에도 고해상도 보완을 달성한다. 이는 자동에코더와 볼록 기반 GAN보다 정량적·정성적 기준에서 모두 뛰어나며, 후속 분류 작업의 정확도를 향상시킨다.

ABSTRACT

We present RL-GAN-Net, where a reinforcement learning (RL) agent provides fast and robust control of a generative adversarial network (GAN). Our framework is applied to point cloud shape completion that converts noisy, partial point cloud data into a high-fidelity completed shape by controlling the GAN. While a GAN is unstable and hard to train, we circumvent the problem by (1) training the GAN on the latent space representation whose dimension is reduced compared to the raw point cloud input and (2) using an RL agent to find the correct input to the GAN to generate the latent space representation of the shape that best fits the current input of incomplete point cloud. The suggested pipeline robustly completes point cloud with large missing regions. To the best of our knowledge, this is the first attempt to train an RL agent to control the GAN, which effectively learns the highly nonlinear mapping from the input noise of the GAN to the latent space of point cloud. The RL agent replaces the need for complex optimization and consequently makes our technique real time. Additionally, we demonstrate that our pipelines can be used to enhance the classification accuracy of point cloud with missing data.

연구 동기 및 목표

• 차폐, 센서 노이즈 또는 제한된 시야각으로 인한 큰 영역의 손실이 발생한 3D 포인트 클라우드 보완 문제를 해결하기 위해.
• 포인트 클라우드 보완에서 GAN의 불안정성과 학습 난이도를 잠재공간 표현과 RL 제어를 통해 극복하기 위해.
• 반복 최적화를 대체하여 RL 에이전트의 빠른 행동 선택을 통해 실시간 추론을 가능하게 하기 위해.
• 형태 보완을 사전 처리 단계로 적용함으로써 불완전한 포인트 클라우드에 대한 후속 분류 성능 향상시키기 위해.
• 딥 강화학습을 활용해 3D 형태 보완을 위한 GAN 출력을 제어하는 데 있어 선구적인 응용을 시도하기 위해.

제안 방법

• 사전에 학습된 자동에코더(AE)가 입력된 부분 포인트 클라우드를 낮은 차원의 잠재공간 표현으로 인코딩한다.
• 완전한 형태의 잠재공간 표현에 대해 GAN을 학습시켜 유효한 포인트 클라우드 구조의 분포를 학습한다.
• RL 에이전트는 인코딩된 부분 포인트 클라우드를 관찰하고, GAN의 생성기로 입력할 노이즈 벡터 $ z $ 를 선택하여 완성된 형태의 잠재표현을 생성한다.
• RL 에이전트는 생성된 잠재표현과 진짜값 간의 유사도를 기반으로 보상 신호를 최대화하도록 훈련되며, 카멘 거리(Chamfer distance)를 대체 지표로 사용한다.
• 하이브리드 버전은 사전 학습된 GAN 판별기로 AE와 RL-GAN-Net이 생성한 형태 중 최종 출력을 선택하여 전역 일관성을 확보한다.
• 최종적으로 선택된 잠재표현에서 디코딩하여 실시간으로 완성된 포인트 클라우드를 출력한다.

Figure 1 : Qualitative results of point cloud shape completion given input data missing 70% of its original points. We present RL-GAN-Net, which observes a partial input point cloud data ( $P_{in}$ ) and completes the shape within a matter of milliseconds. Even when input is severely distorted, our

실험 결과

연구 질문

• RQ1 반복 최적화 없이도 강화학습 에이전트가 GAN을 효과적으로 제어하여 고해상도 포인트 클라우드 보완을 생성할 수 있는가?
• RQ2 70%의 포인트가 손실된 경우, RL-GAN-Net 프레임워크는 자동에코더와 볼록 기반 GAN보다 어떻게 성능을 내는가?
• RQ3 RL-GAN-Net 파이프라인을 사전 처리 단계로 적용할 경우, 후속 포인트 클라우드 분류 작업의 정확도가 향상되는가?
• RQ4 백프로파게이션 기반 최적화보다 RL 에이전트의 GAN 잠재공간 제어가 GAN 인version에 더 강건하고 빠른가?
• RQ5 하이브리드 판별기 기반 선택 기법이 최종 완성된 형태의 품질과 일관성에 향상 효과를 미치는가?

주요 결과

• ShapeNet 데이터셋에서 RL-GAN-Net은 진짜값과 카멘 거리가 0.0531로 자동에코더(0.162)와 $128^3$ 해상도의 볼록 기반 방법(0.169)을 능가한다.
• 원본 포인트의 70%가 손실된 경우에도 RL-GAN-Net은 국소적 세부사항과 의미적 대칭성을 자동에코더 기반 방법보다 더 잘 유지하며 고해상도 보완을 달성한다.
• PointNet의 분류 정확도는 원시 불완전 데이터에서 50.2%에서 RL-GAN-Net을 활용한 보완 후 82.5%로 상승하여, 70% 손실 상황에서 자동에코더 기반 파이프라인보다 뚜렷이 뛰어나다.
• 하이브리드 RL-GAN-Net + 판별기 버전은 50% 손실 상황에서 93.3%의 분류 정확도를 기록했으며, 자동에코더 기반 방법은 80.4%였다.
• RL 에이전트 덕분에 실시간 추론이 가능해져 밀리초 단위로 형태를 보완할 수 있으며, 느린 최적화 기반 GAN 인version의 필요성을 제거한다.
• 방법은 노이즈에 강건하여, 입력 포인트 클라우드에 가우시안 노이즈(σ = 0.01)가 추가된 경우에도 높은 성능을 유지한다.

Figure 2 : The forward pass of our shape completion network. By observing an encoded partial point cloud, our RL-GAN-Net selects an appropriate input for the latent GAN and generates a cleaned encoding for the shape. The synthesized latent representation is decoded to get the completed point cloud i