[论文解读] JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with Generative Adversarial Networks.

Ru Li, Shuaicheng Liu+3 more|arXiv (Cornell University)|Jan 19, 2021

Image Processing and 3D Reconstruction参考文献 45被引用 4

一句话总结

JigsawGAN 提出了一种基于自监督 GAN 的方法，利用未配对图像解决拼图问题，结合了用于排列预测的分类分支和用于语义图像重建的 GAN 分支。通过整合伪标签和基于流的形变模块，该方法同时利用边缘特征和语义特征，显著提升了性能，在定性和定量评估中均优于先前的方法。

ABSTRACT

The paper proposes a solution based on Generative Adversarial Network (GAN) for solving jigsaw puzzles. The problem assumes that an image is cut into equal square pieces, and asks to recover the image according to pieces information. Conventional jigsaw solvers often determine piece relationships based on the piece boundaries, which ignore the important semantic information. In this paper, we propose JigsawGAN, a GAN-based self-supervised method for solving jigsaw puzzles with unpaired images (with no prior knowledge of the initial images). We design a multi-task pipeline that includes, (1) a classification branch to classify jigsaw permutations, and (2) a GAN branch to recover features to images with correct orders. The classification branch is constrained by the pseudo-labels generated according to the shuffled pieces. The GAN branch concentrates on the image semantic information, among which the generator produces the natural images to fool the discriminator with reassembled pieces, while the discriminator distinguishes whether a given image belongs to the synthesized or the real target manifold. These two branches are connected by a flow-based warp that is applied to warp features to correct order according to the classification results. The proposed method can solve jigsaw puzzles more efficiently by utilizing both semantic information and edge information simultaneously. Qualitative and quantitative comparisons against several leading prior methods demonstrate the superiority of our method.

研究动机与目标

• 解决传统拼图求解器过度依赖边界特征而忽略语义内容的局限性。
• 开发一种自监督方法，无需原始图像的先验知识，即可从打乱的正方形拼图块中重建图像。
• 整合语义理解与结构化边缘信息，以提高拼图求解的准确性。
• 设计一种多任务学习框架，联合优化排列分类与图像生成。
• 通过对抗性学习和伪标签实现使用未配对图像的端到端训练。

提出的方法

• 提出一种多任务流程，通过从打乱拼图块中提取的伪标签，利用分类分支识别正确的拼图块排列。
• 在 GAN 分支中，生成器从重新组装的拼图块中重建自然图像，以欺骗判别器。
• 使用判别器区分真实图像与生成器合成的图像，以增强重建结果的真实感。
• 引入基于流的形变模块，根据分类分支预测的拼图块顺序对特征表示进行对齐。
• 使用对抗性损失和分类损失进行端到端训练，实现语义一致性和结构一致性的同时优化。
• 在训练过程中利用未配对图像，避免对原始图像与打乱图像配对数据的需求。

实验结果

研究问题

• RQ1 基于自监督 GAN 的方法是否能在无需配对原始图像的情况下有效解决拼图问题？
• RQ2 与仅依赖边界特征的方法相比，引入语义特征在多大程度上提升了拼图求解性能？
• RQ3 联合优化分类与图像生成在多大程度上提升了重建准确性？
• RQ4 从打乱拼图块中生成的伪标签是否能有效指导正确拼图块排序的学习？
• RQ5 基于流的形变机制是否能成功对齐特征，从而改善重新组装图像的对齐效果？

主要发现

• 在定性和定量评估中，JigsawGAN 的性能均优于多种领先的先前方法。
• 通过 GAN 分支整合语义信息，显著提升了重建质量，超越了仅依赖边缘的方法。
• 使用伪标签实现了有效的自监督学习，无需真实原始图像作为监督信号。
• 基于流的形变机制成功根据分类结果对齐特征，增强了空间一致性。
• 多任务框架有效平衡了分类与图像生成任务，从而得到更准确的拼图解决方案。
• 该方法在未配对图像上表现出强大的泛化能力，证实了其自监督学习能力。