[論文レビュー] Modality Conversion of Handwritten Patterns by Cross Variational Autoencoders

Taichi Sumi, Brian Kenji Iwana+2 more|arXiv (Cornell University)|Jun 14, 2019

Handwritten Text Recognition Techniques参考文献 25被引用数 5

ひとこと要約

本稿では、共有された潜在空間を介してオンライン（時系列軌道）とオフライン（画像）の手書き文字の相互変換を可能にするクロス可変オートエンコーダー（Cross-VAE）を提案する。2つのVAEを新しい空間共有損失で共同学習させることで、高精度なインク表現とストローク回復を達成し、PSNR（15.99 dB）、SSIM（0.707）、DTW（0.0361）においてクラス平均を上回る性能を発揮した。

ABSTRACT

This research attempts to construct a network that can convert online and offline handwritten characters to each other. The proposed network consists of two Variational Auto-Encoders (VAEs) with a shared latent space. The VAEs are trained to generate online and offline handwritten Latin characters simultaneously. In this way, we create a cross-modal VAE (Cross-VAE). During training, the proposed Cross-VAE is trained to minimize the reconstruction loss of the two modalities, the distribution loss of the two VAEs, and a novel third loss called the space sharing loss. This third, space sharing loss is used to encourage the modalities to share the same latent space by calculating the distance between the latent variables. Through the proposed method mutual conversion of online and offline handwritten characters is possible. In this paper, we demonstrate the performance of the Cross-VAE through qualitative and quantitative analysis.

研究の動機と目的

• オンライン（軌道）とオフライン（画像）の手書き文字の双方向的モダリティ変換を可能にすること。
• 静的画像から失われた時系列的スティック順序を復元する（スティック回復）ことと、軌道から画像を生成すること（インク表現）の課題に対処すること。
• 異なるモダリティ間で手書き文字の根本的表現を捉える共有潜在空間を学習すること。
• 潜在変数を異なるモダリティ間で整列させるために、新しい空間共有損失を導入することで、ベースライン手法を上回る性能を向上させること。
• 時系列および画像モダリティのモデリングにおいて、LSTMと畳み込み層のアーキテクチャの違いが性能に与える影響を評価すること。

提案手法

• モデルは、画像モダリティ（X_b → z_b → Y_b）と軌道モダリティ（X_t → z_t → Y_t）のそれぞれに別々のVAEを使用する。各VAEはエンコーダーとデコーダーを備える。
• 同じ手書き文字に対して、画像モダリティの潜在変数 z_b と軌道モダリティの潜在変数 z_t の間のL2距離を最小化する、新しい空間共有損失を導入する。
• 全体の損失関数は、再構成損失（画像に対してMSE、軌道に対してMSE）、分布損失（KLダイバージェンス）、および空間共有損失を組み合わせたものである。
• ネットワークはエンドツーエンドに訓練され、再構成忠実度と潜在空間の整列を同時に最適化する。
• 時系列のエンコーダーとデコーダーには畳み込み層が使用され、スティック座標の空間的依存性をより効果的に捉えることができ、LSTMよりも優れた性能を発揮した。
• 共有潜在空間により、クロスモダリティ生成が可能になった：画像から軌道への変換（スティック回復）と、軌道から画像への変換（インク表現）が実現された。

実験結果

リサーチクエスチョン

• RQ1 共有潜在空間は、オンラインとオフラインの手書き文字の間で正確な相互変換を可能にするか？
• RQ2 提案された空間共有損失は、異なるモダリティの潜在表現の整列にどの程度効果的か？
• RQ3 アーキテクチャの選択（LSTM対畳み込み層）は、モダリティ変換の性能に顕著な影響を与えるか？
• RQ4 モデルは静的画像から高忠実度のスティック軌道を復元できるか？
• RQ5 画像および軌道再構成品質の観点で、モデルはクラス平均ベースラインと比較してどの程度優れているか？

主な発見

• オフラインからオンラインへの変換（画像から軌道）において、Cross-VAEはPSNR 15.99 dB、SSIM 0.707を達成し、クラス平均の9.197 dBおよび0.159を顕著に上回った。
• オンラインからオフラインへの変換（軌道から画像）においても、PSNR 15.99 dB、SSIM 0.707を達成し、再びクラス平均を上回った。
• スティック回復のDTW距離は0.0361であり、再構成された軌道と元の軌道との類似度が高く、低い値がより優れた性能を示している。
• 時系列エンコーダーとデコーダーに畳み込み層を用いることで、LSTMを上回る性能を発揮し、PSNR、SSIM、DTWスコアが向上した。これは、スティック座標の空間的依存性をより効果的にモデル化できたためと推定される。
• 空間共有損失は、2つのモダリティの潜在空間の整列を効果的に実現し、正確なクロスモダリティ生成を可能にした。
• モデルはインク表現とスティック回復の両方を成功裏に実装し、共有潜在空間を用いた統合的モダリティ変換の実現可能性を証明した。