[论文解读] Bowtie Networks: Generative Modeling for Joint Few-Shot Recognition and Novel-View Synthesis

Zhipeng Bao, Yu-Xiong Wang+1 more|arXiv (Cornell University)|Aug 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 71被引用 6

一句话总结

本文提出bowtie网络，一种基于反馈的生成模型，仅使用来自任意视角的类别标注图像，即可联合完成少样本识别与新视角合成。通过在生成模型与判别模型之间引入双向反馈，该方法在低数据设置下显著提升了图像生成质量与识别准确率，尤其在细粒度数据集（如CUB和CelebA-HQ）上达到当前最优性能。

ABSTRACT

We propose a novel task of joint few-shot recognition and novel-view synthesis: given only one or few images of a novel object from arbitrary views with only category annotation, we aim to simultaneously learn an object classifier and generate images of that type of object from new viewpoints. While existing work copes with two or more tasks mainly by multi-task learning of shareable feature representations, we take a different perspective. We focus on the interaction and cooperation between a generative model and a discriminative model, in a way that facilitates knowledge to flow across tasks in complementary directions. To this end, we propose bowtie networks that jointly learn 3D geometric and semantic representations with a feedback loop. Experimental evaluation on challenging fine-grained recognition datasets demonstrates that our synthesized images are realistic from multiple viewpoints and significantly improve recognition performance as ways of data augmentation, especially in the low-data regime. Code and pre-trained models are released at https://github.com/zpbao/bowtie_networks.

研究动机与目标

• 解决仅使用类别标注图像且监督信息极少时，同时学习少样本物体识别与新视角合成的挑战。
• 通过双向反馈实现生成与判别任务之间的知识迁移，提升低数据设置下的泛化能力。
• 通过分辨率蒸馏技术，克服高分辨率识别模型与低分辨率生成模型之间的分辨率不匹配问题。
• 构建一个统一框架，联合学习3D几何与语义表征，实现更丰富的物体理解。
• 证明合成图像可作为有效的数据增强手段，显著提升识别性能。

提出的方法

• 该框架采用蝴蝶结（bowtie）结构，包含两个核心模块：视图合成模块，从2D图像中学习3D几何表征并渲染新视角；识别模块，利用真实图像与合成图像进行物体分类。
• 反馈连接将两个模块关联：生成模型输出的合成图像作为识别模型的训练数据，而真实图像的语义特征则作为条件输入反馈至合成模块。
• 引入类别损失项以平衡识别与合成性能，超参数λ_cat控制两者之间的权衡。
• 通过分辨率蒸馏，将高分辨率识别模型的知识迁移至低分辨率生成模型，从而在不提升生成分辨率的前提下提升图像质量。
• 采用原型网络（prototypical networks）进行少样本分类，利用支持图像实现高效的少样本泛化。
• 该框架具有模块化设计，可与任意先进的视图合成与识别模型结合使用。

实验结果

研究问题

• RQ1 能否仅使用类别标注图像且无3D监督，通过单一模型联合实现少样本识别与新视角合成？
• RQ2 如何通过生成与判别模型之间的反馈协作，共同提升两个任务的性能？
• RQ3 在联合学习设置下，图像生成质量与识别准确率之间的最优权衡是什么？
• RQ4 分辨率蒸馏是否能有效弥合多模块系统中高分辨率识别与低分辨率生成之间的差距？
• RQ5 将合成图像用作数据增强是否能显著提升少样本识别性能？

主要发现

• 在CUB数据集上，K=1 shot时，所提FBNet达到48.39%的少样本识别准确率，较基线多任务模型高出13.68个百分点。
• 当K=5 shots时，FBNet准确率达到72.76%，展现出在低数据条件下强大的泛化能力。
• FID得分为92.97，IS得分为2.83，表明图像生成质量高且多样性好，优于HoloGAN等基线方法在CelebA-HQ上的表现。
• 消融实验表明，若移除分辨率蒸馏或原型分类机制，性能出现显著下降，证实二者在模型中的关键作用。
• 类别损失超参数λ_cat表现出明确的权衡效应：值越高，识别性能越优，但图像质量越差，表明存在性能最优区间。
• 定性结果表明，FBNet生成的图像在真实感与多样性方面优于HoloGAN，尤其在对齐数据集（如CelebA-HQ）上表现更优。