[論文レビュー] G2P-DDM: Generating Sign Pose Sequence from Gloss Sequence with Discrete Diffusion Model

Pan Xie, Qipeng Zhang+4 more|arXiv (Cornell University)|Aug 19, 2022

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本稿では、まずPose-VQVAEを用いて連続的なポーズ系列を複数のコードブックを用いた離散トークンに変換することで、 gloss 文字列からサインポーズ系列を生成するための新しい離散拡散モデル、G2P-DDM を提案する。このモデルは、空間的・時間的依存関係を捉えるために CodeUnet アーキテクチャを用いた離散ノイズ除去拡散モデル（G2P-DDM）を採用し、可変長系列生成のためのヒューリスティッククラスタリング手法を併用することで、RWTH-PHOENIX-WEATHER-2014T ベンチマークで77.26%のWERを達成し、最先端の性能を発揮するとともに、人間評価でも優れた結果を得た。

ABSTRACT

The Sign Language Production (SLP) project aims to automatically translate spoken languages into sign sequences. Our approach focuses on the transformation of sign gloss sequences into their corresponding sign pose sequences (G2P). In this paper, we present a novel solution for this task by converting the continuous pose space generation problem into a discrete sequence generation problem. We introduce the Pose-VQVAE framework, which combines Variational Autoencoders (VAEs) with vector quantization to produce a discrete latent representation for continuous pose sequences. Additionally, we propose the G2P-DDM model, a discrete denoising diffusion architecture for length-varied discrete sequence data, to model the latent prior. To further enhance the quality of pose sequence generation in the discrete space, we present the CodeUnet model to leverage spatial-temporal information. Lastly, we develop a heuristic sequential clustering method to predict variable lengths of pose sequences for corresponding gloss sequences. Our results show that our model outperforms state-of-the-art G2P models on the public SLP evaluation benchmark. For more generated results, please visit our project page: extcolor{blue}{\url{https://slpdiffusier.github.io/g2p-ddm}}

研究の動機と目的

• サイン言語生成（SLP）における、話された言語の gloss 文字列から正確で可変長のサインポーズ系列を生成する課題に取り組む。
• 従来の G2P モデルにおける誤差伝搬とオートレグレッシブなデコードの遅さを解消するため、非オートレグレッシブで反復的改善を行うアプローチを導入する。
• 特別に設計されたマルチコードブックを備えた VQ-VAE アーキテクチャを用いて、連続的なポーズ空間を離散的潜在空間に変換することで、ポーズ系列生成の質を向上させる。
• gloss とポーズ系列の複雑な逐次的アラインメントを、可変長系列に特化した離散ノイズ除去拡散フレームワークを用いてモデル化する。
• 可変長生成の問題を解決するため、長さ予測に向けた逐次的 KNN を用いたクラスタリング手法を提案する。

提案手法

• ポーズを体幹、右手、左手の3つの局所的パッチに分割し、それぞれに別々のコードブックを設けることで、空間的意味を保持するとともに再構成品質を向上させる。このアプローチにより、連続的なサインポーズ系列を離散トークンに変換する Pose-VQVAE が導入される。
• 離散潜在コードに、前向きの汚染プロセス（徐々にトークンをマスクする）を逆方向に実行する離散ノイズ除去拡散モデル（G2P-DDM）を適用することで、反復的改善による系列生成が可能になる。
• 空間的・時間的依存関係を効果的にモデル化するため、離散系列に特化した完全なトランスフォーマー型アーキテクチャである CodeUnet が使用され、生成品質の向上が図られる。
• ポーズ系列の境界を検出するため、k-近傍法に基づく密度ピーク法を応用したヒューリスティックな逐次クラスタリング手法を提案し、可変長の gloss 文字列に対する正確な長さ予測を実現する。
• 推論段階で、gloss 文字列の長さを追加入力として用いることで、長さ予測をさらに監視し、アラインメントと生成の忠実度を向上させる。
• パイプライン全体は2段階の訓練戦略を採用する：まず Pose-VQVAE を離散コードの学習のために事前学習し、次に G2P-DDM を CodeUnet を用いて条件付き生成のために微調整する。

実験結果

リサーチクエスチョン

• RQ1 gloss 文字列を条件とした可変長サインポーズ系列の生成において、離散拡散モデリングがオートレグレッシブベースラインを上回る性能を発揮できるか？
• RQ2 ポーズ表現を体幹・右手・左手などの局所的パッチに分割し、それぞれに個別のコードブックを設けることで、再構成品質と生成品質にどのような影響を与えるか？
• RQ3 Pose-VQVAE と拡散モデリングの組み合わせにより、非オートレグレッシブな G2P 生成における誤差伝搬をどのように軽減し、生成品質を向上できるか？
• RQ4 明示的な長さの監視なしに、ヒューリスティックなクラスタリング手法を用いて、gloss 文字列からサインポーズ系列の長さを効果的に予測できるか？
• RQ5 専用の離散系列モデル（例：CodeUnet）が、通常のトランスフォーマーと比較して、離散潜在空間における空間的・時間的モデリングにどの程度優れているか？

主な発見

• 分離されたコードブック（1024×3）を備えた Pose-VQVAE は、MSE が 0.0113 にまで低下し、共有コードブックや統合圧縮バージョンを著しく上回る再構成性能を達成した。
• CodeUnet を搭載した G2P-DDM モデルは、RWTH-PHOENIX-WEATHER-2014T ベンチマークで 77.26% の WER を達成し、以前の最先端手法を上回った。
• 人間評価では、350名中319名が G2P-DDM が生成した系列をベースラインよりも好むと回答し、明確な知覚的品質と自然さが示された。
• アブレーションスタディの結果、局所的ポーズパッチごとに別々のコードブックを設けることで、特徴の混同が軽減され、再構成品質が向上することが T-SNE 視覚化と低い MSE によって裏付けられた。
• 推論ステップ数を 20 から 200 に増加させると WER の性能が向上したが、100 ステップを超えると飽和が見られた。このため、品質と速度のトレードオフを考慮し、100 ステップを採用した。
• 同じ拡散設定下で、標準のトランスフォーマーと比較して CodeUnet アーキテクチャはより速く収束し、より優れた性能を発揮した。これは、構造的で離散的な系列モデリングに特化した有効性を示している。