[论文解读] Modality Conversion of Handwritten Patterns by Cross Variational Autoencoders

Taichi Sumi, Brian Kenji Iwana+2 more|arXiv (Cornell University)|Jun 14, 2019

Handwritten Text Recognition Techniques参考文献 25被引用 5

一句话总结

本文提出 Cross-VAE，一种交叉变分自编码器，通过共享潜在空间实现在线（时间轨迹）与离线（图像）手写字符之间的相互转换。通过引入一种新颖的共享空间损失，联合训练两个 VAE，模型实现了高保真度的描摹与笔画恢复，在 PSNR（15.99 dB）、SSIM（0.707）和 DTW（0.0361）方面均优于类别平均值。

ABSTRACT

This research attempts to construct a network that can convert online and offline handwritten characters to each other. The proposed network consists of two Variational Auto-Encoders (VAEs) with a shared latent space. The VAEs are trained to generate online and offline handwritten Latin characters simultaneously. In this way, we create a cross-modal VAE (Cross-VAE). During training, the proposed Cross-VAE is trained to minimize the reconstruction loss of the two modalities, the distribution loss of the two VAEs, and a novel third loss called the space sharing loss. This third, space sharing loss is used to encourage the modalities to share the same latent space by calculating the distance between the latent variables. Through the proposed method mutual conversion of online and offline handwritten characters is possible. In this paper, we demonstrate the performance of the Cross-VAE through qualitative and quantitative analysis.

研究动机与目标

• 实现在线（轨迹）与离线（图像）手写字符之间的双向模态转换。
• 解决从静态图像中重建丢失的时间笔画顺序（笔画恢复）以及从轨迹生成图像（描摹）的挑战。
• 学习一个共享的潜在空间，以捕捉跨模态的手写字符基本表征。
• 通过引入一种新颖的共享空间损失，对齐不同模态间的潜在变量，从而在性能上超越基线方法。
• 评估不同架构（LSTM 与卷积层）在建模时间序列与图像模态方面的性能差异。

提出的方法

• 该模型使用两个独立的 VAE：一个用于图像模态（X_b → z_b → Y_b），一个用于轨迹模态（X_t → z_t → Y_t），每个模态均包含编码器与解码器。
• 提出一种新颖的共享空间损失，以最小化同一手写字符在不同模态下潜在变量 z_b 与 z_t 之间的 L2 距离。
• 整体损失函数结合了重建损失（图像使用 MSE，轨迹使用 MSE）、分布损失（KL 散度）以及共享空间损失。
• 网络端到端训练，以同时优化重建保真度与潜在空间对齐。
• 时间序列编码器与解码器中使用卷积层，相比 LSTMs 在捕捉笔画坐标中的空间依赖性方面表现更优。
• 共享潜在空间实现了跨模态生成：从图像生成轨迹（笔画恢复）以及从轨迹生成图像（描摹）。

实验结果

研究问题

• RQ1 共享潜在空间是否能够实现在线与离线手写字符之间准确的相互转换？
• RQ2 所提出的共享空间损失在对齐不同模态潜在表征方面的有效性如何？
• RQ3 架构选择（LSTM 与卷积层）是否显著影响模态转换的性能？
• RQ4 该模型能否以高保真度从静态图像中重建笔画轨迹？
• RQ5 在图像与轨迹重建质量方面，该模型与类别平均基线相比表现如何？

主要发现

• Cross-VAE 在离线到在线转换（图像到轨迹）中实现了 15.99 dB 的 PSNR 和 0.707 的 SSIM，显著优于类别平均值（9.197 dB 和 0.159）。
• 在在线到离线转换（轨迹到图像）中，模型实现了 15.99 dB 的 PSNR 和 0.707 的 SSIM，同样超越了类别平均值。
• 笔画恢复的 DTW 距离为 0.0361，表明重建轨迹与原始轨迹高度相似，数值越低表示性能越好。
• 时间序列编码器与解码器中使用卷积层优于 LSTMs，实现了更高的 PSNR、SSIM 和 DTW 分数，可能是因为其更优地建模了笔画坐标中的空间依赖性。
• 共享空间损失有效对齐了两种模态的潜在空间，从而实现了准确的跨模态生成。
• 该模型成功展示了描摹与笔画恢复功能，证明了利用共享潜在空间实现联合模态转换的可行性。