[論文レビュー] Tongue contour extraction from ultrasound images based on deep neural network

Aurore Jaumard‐Hakoun, Kele Xu+3 more|arXiv (Cornell University)|May 19, 2016

Traditional Chinese Medicine Studies参考文献 13被引用数 29

ひとこと要約

本論文では、手動ラベルなしで画像から舌の輪郭を抽出するための深層ニューラルネットワークベースの手法を提案している。深層オートエンコーダーを用いて、ラベルなしで画像から輪郭へのマッピングを学習する。この手法は、手動ラベルによる輪郭抽出と同等の性能を達成し、発話および音声研究における時間のかかる人手によるラベリングに大きく依存しなくてよくなり、顕著な改善が得られた。

ABSTRACT

Studying tongue motion during speech using ultrasound is a standard procedure, but automatic ultrasound image labelling remains a challenge, as standard tongue shape extraction methods typically require human intervention. This article presents a method based on deep neural networks to automatically extract tongue contour from ultrasound images on a speech dataset. We use a deep autoencoder trained to learn the relationship between an image and its related contour, so that the model is able to automatically reconstruct contours from the ultrasound image alone. In this paper, we use an automatic labelling algorithm instead of time-consuming hand-labelling during the training process, and estimate the performances of both automatic labelling and contour extraction as compared to hand-labelling. Observed results show quality scores comparable to the state of the art.

研究の動機と目的

• 超音波画像からの舌輪郭抽出を自動化し、人的に手間のかかる手動ラベリングに依存しないようにすること。
• 超音波画像とそれに対応する舌輪郭との間のマッピングを学習できる深層ニューラルネットワークモデルの開発。
• 自動ラベリングと輪郭抽出の性能をゴールドスタンダードの手動ラベルデータと比較して評価すること。
• 深層オートエンコーダーが、超音波入力のみから正確な舌輪郭を効果的に再構成できるかどうかを実証すること。

提案手法

• 深層オートエンコーダーを訓練し、超音波画像から舌輪郭を再構成することで、画像特徴の階層的表現を学習する。
• 学習段階では手動ラベルではなく、自動ラベリングアルゴリズムを用いてエンドツーエンドにモデルを訓練する。
• エンコーダーは入力の超音波画像のコンactな潜在表現を学習し、デコーダーはこの表現から輪郭を再構成する。
• 予測された輪郭と正解ラベルとの差を最小化するように、再構成損失を用いてネットワークを最適化する。
• 異なる発話行動における舌の形状や画像品質のばらつきに対応できるようにアーキテクチャを設計する。
• 標準的な品質指標を用いて、自動抽出された輪郭と手動ラベルの輪郭を比較することで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練段階で手動ラベルの輪郭が不要な場合、深層ニューラルネットワークが超音波画像から正確な舌輪郭を抽出できるか。
• RQ2 本研究で提案する自動ラベリングおよび輪郭抽出手法の性能は、従来の手動ラベルベースの基準と比べてどの程度優れているか。
• RQ3 深層オートエンコーダーが、未学習の超音波画像からも輪郭を再構成できるほど一般化できるか。
• RQ4 訓練段階で自動ラベリングが使用された場合、最終的な輪郭抽出の品質に影響を与えるか。

主な発見

• 提案手法は、手動ラベルデータに依存する最先端の手法と同等の輪郭抽出品質を達成した。
• 訓練段階での自動ラベリングアルゴリズムにより、信頼性の高い監視信号が得られ、高品質な輪郭再構成が可能になった。
• 深層オートエンコーダーは、限られたアノテート済みデータでも、超音波画像と舌輪郭との複雑なマッピングを効果的に学習した。
• モデルは、異なる発音における画像品質や舌の形状のばらつきに対しても頑健であることが示された。
• 定量的評価により、本手法の性能は手動ラベル結果と同等であることが確認され、大規模な音声学的研究への応用が妥当であることが裏付けられた。