[论文解读] View Inter-Prediction GAN: Unsupervised Representation Learning for 3D Shapes by Learning Global Shape Memories to Support Local View Predictions

Zhizhong Han, Mingyang Shang+2 more|arXiv (Cornell University)|Nov 7, 2018

3D Shape Modeling and Analysis参考文献 14被引用 9

一句话总结

本文提出视图间预测生成对抗网络（View Inter-Prediction GAN, VIP-GAN），一种无监督3D形状表征学习方法，采用基于RNN的架构，通过共享的、与形状相关的全局记忆，从邻近视图预测中心视图并重建输入。该方法通过对抗性训练和多视图序列中的隐式特征聚合，在大规模基准上实现了3D形状分类与检索的最先进性能。

ABSTRACT

In this paper we present a novel unsupervised representation learning approach for 3D shapes, which is an important research challenge as it avoids the manual effort required for collecting supervised data. Our method trains an RNN-based neural network architecture to solve multiple view inter-prediction tasks for each shape. Given several nearby views of a shape, we define view inter-prediction as the task of predicting the center view between the input views, and reconstructing the input views in a low-level feature space. The key idea of our approach is to implement the shape representation as a shape-specific global memory that is shared between all local view inter-predictions for each shape. Intuitively, this memory enables the system to aggregate information that is useful to better solve the view inter-prediction tasks for each shape, and to leverage the memory as a view-independent shape representation. Our approach obtains the best results using a combination of L_2 and adversarial losses for the view inter-prediction task. We show that VIP-GAN outperforms state-of-the-art methods in unsupervised 3D feature learning on three large scale 3D shape benchmarks.

研究动机与目标

• 解决无监督3D形状表征学习中缺乏昂贵人工标注的挑战。
• 通过从多视图上下文中挖掘细粒度的'监督'信号，提升特征的判别能力。
• 通过局部视图预测中的隐式聚合，构建与视图无关的全局形状表征。
• 在3D形状分类与检索任务中，超越现有无监督方法及部分有监督方法。

提出的方法

• VIP-GAN使用基于RNN的编码器-解码器生成器，从邻近视图预测中心视图，并在低级特征空间中重建邻近视图。
• 学习一个共享的、与形状相关的全局记忆，以支持所有局部视图间预测任务，实现与视图无关的特征聚合。
• 生成器与判别器联合训练，采用对抗性损失，以提升预测视图的真实感与特征质量。
• 模型同时使用L2损失与对抗性损失，以优化视图间预测与重建任务。
• 将视图序列划分为重叠片段，以实现每种形状的多个局部预测任务。
• 全局记忆隐式聚合来自多个局部预测的知识，形成鲁棒且具有判别性的形状表征。

实验结果

研究问题

• RQ1 使用共享全局记忆的局部视图间预测任务能否提升无监督3D特征学习？
• RQ2 对抗性训练的引入在多大程度上增强了无监督3D特征的判别能力？
• RQ3 在多视图3D表征学习中，隐式聚合多个局部预测的知识在多大程度上优于全局池化？
• RQ4 模仿人类对视图依赖模式的感知是否能提升3D形状分类与检索任务中的泛化能力？
• RQ5 VIP-GAN在标准3D基准上与当前最先进有监督及无监督方法相比表现如何？

主要发现

• 在ShapeNetCore55上，VIP-GAN实现了83.6的微平均mAP，优于所有对比的无监督与有监督方法。
• 在ModelNet40上，VIP-GAN达到82.97%的分类准确率，超越所有其他无监督方法，并与多个有监督基线方法相当或更优。
• 在ShapeNetCore55上，检索性能显著提升，微平均指标下mAP与NDCG均达到89.5。
• 消融实验表明，结合L2损失与对抗性损失可获得最佳性能，且全局记忆显著提升了预测准确率。
• 使用共享全局记忆的特征比依赖全局池化或独立视图处理的方法更具判别性。
• VIP-GAN在不同指标与基准上表现稳健，展示了在分类与检索任务中强大的泛化能力。