[論文レビュー] Improving Ultrasound Tongue Image Reconstruction from Lip Images Using Self-supervised Learning and Attention Mechanism

Haiyang Liu, Jihan Zhang|arXiv (Cornell University)|Jun 20, 2021

Speech and Audio Processing参考文献 39被引用数 5

ひとこと要約

本稿では、唇の動画シーケンスから超音波舌画像を再構築する自己教師あり二重ストリームCNN-LSTMネットワークを提案する。光流と時間的モデリングを活用することで、ベースラインモデルを上回る再構築精度を達成し、ユーザー研究では平均類似度スコア3.01、SSIM（0.728）とMSD（4.953）の指標でも優れた結果を示した。

ABSTRACT

Speech production is a dynamic procedure, which involved multi human organs including the tongue, jaw and lips. Modeling the dynamics of the vocal tract deformation is a fundamental problem to understand the speech, which is the most common way for human daily communication. Researchers employ several sensory streams to describe the process simultaneously, which are incontrovertibly statistically related to other streams. In this paper, we address the following question: given an observable image sequences of lips, can we picture the corresponding tongue motion. We formulated this problem as the self-supervised learning problem, and employ the two-stream convolutional network and long-short memory network for the learning task, with the attention mechanism. We evaluate the performance of the proposed method by leveraging the unlabeled lip videos to predict an upcoming ultrasound tongue image sequence. The results show that our model is able to generate images that close to the real ultrasound tongue images, and results in the matching between two imaging modalities.

研究の動機と目的

• ペaired超音波データを必要とせずに、可視唇の動きから超音波舌画像を再構築する課題に対処すること。
• 自己教師あり学習を用いて、唇画像と超音波舌画像の間のクロスモodalマッピングを改善すること。
• 時間的モデリングと注目メカニズムを活用して、再構築品質を向上させること。
• 主観的ユーザー研究と客観的指標（SSIM、CW-SSIM、MSD）を用いて、手法の評価を行うこと。
• 光流と注目メカニズムが再構築忠実度を向上させる貢献度を調査すること。

提案手法

• 一つのストリームが連続するフレーム間の光流を処理し、もう一つのストリームが生の唇画像を処理する二重ストリーム畳み込みLSTM（TS-CNN-LSTM）アーキテクチャを採用する。
• ネットワークを非ラベル付きの唇の動画シーケンス上で自己教師あり学習で訓練し、将来の超音波舌画像を予測させる。
• 特徴の統合後に注目メカニズムを統合し、潜在表現における関連のある空間的・時間的特徴を強調する。
• バッチサイズ32で平均二乗誤差（MSE）損失を使用し、約50エポック後に早期停止を適用してモデルを訓練する。
• 推論では、両ストリームからの埋め込みを連結し、全結合層を通して再構築された超音波画像を生成する。
• ベースラインのConvLSTMモデルと比較し、光流や注目メカニズムなどのコンポーネントをアブレーションしてその貢献度を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習を用いて、ペアド超音波データが存在しない唇画像シーケンスから超音波舌画像を効果的に再構築できるか？
• RQ2 光流の統合が、唇の動画から舌の動きを再構築する際にどのように向上するか？
• RQ3 注目メカニズムが、再構築された超音波画像の品質をどの程度向上させるか？
• RQ4 提案されたコンポーネント（TS-CNN-LSTMに注目メカニズムを組み合わせたもの）は、ベースラインのConvLSTMモデルと比較して、定量的・定性的にどの程度優れているか？
• RQ5 入力モodal（生画像対光流）が再構築性能に与える影響は何か？

主な発見

• 提案されたTS-CNN-LSTMに注目メカニズムを組み合わせたモデルは、主観的評価で平均類似度スコア3.01を達成し、ベースラインのConvLSTM（2.67）を顕著に上回った。
• 構造的類似度指数（SSIM）は0.728、複雑ウェーブレットSSIM（CW-SSIM）は0.765を記録し、画像再構築の高忠実度を示した。
• 手動で抽出した舌の輪郭間の平均距離和（MSD）は4.953であり、実際の超音波画像と密接に一致していることを示した。
• アブレーションスタディの結果、光流が性能向上に最も寄与しており、注目メカニズムは一貫したが小さい改善をもたらした。
• 光流と注目メカニズムの両方を備えたモデルが、他のすべての設定を上回り、時間的および注目メカニズムの相乗効果を確認した。
• 結果から、自己教師あり学習と注目メカニズムを用いることで、唇と舌の動きのクロスモーダルマッピングが可能で効果的であることが確認された。