[論文レビュー] A CNN-based tool for automatic tongue contour tracking in ultrasound images

Jian Zhu, Will Styler+1 more|arXiv (Cornell University)|Jul 24, 2019

Speech and Audio Processing参考文献 26被引用数 12

ひとこと要約

本論文は、U-NetおよびDense U-Net畳み込みニューラルネットワークを用いた、オープンソースで完全自動の舌形状追跡ツールを提示する。この手法は最小限の人的介入で高い精度を達成し、損失関数とデータ拡張が性能に顕著な影響を与えることを示している。また、Dense U-NetはU-Netに比べてより優れた汎化性能を示すが、推論速度は遅い。

ABSTRACT

For speech research, ultrasound tongue imaging provides a non-invasive means for visualizing tongue position and movement during articulation. Extracting tongue contours from ultrasound images is a basic step in analyzing ultrasound data but this task often requires non-trivial manual annotation. This study presents an open source tool for fully automatic tracking of tongue contours in ultrasound frames using neural network based methods. We have implemented and systematically compared two convolutional neural networks, U-Net and DenseU-Net, under different conditions. Though both models can perform automatic contour tracking with comparable accuracy, Dense U-Net architecture seems more generalizable across test datasets while U-Net has faster extraction speed. Our comparison also shows that the choice of loss function and data augmentation have a greater effect on tracking performance in this task. This public available segmentation tool shows considerable promise for the automated tongue contour annotation of ultrasound images in speech research.

研究の動機と目的

• 超音波言語研究における手作業による舌形状のアノテーションに要する時間が長時間にわたるという課題に対処すること。
• 超音波画像からの舌形状をセグメンテーションする、完全自動でオープンソースのツールを開発すること。
• さまざまな条件下でのU-NetとDense U-Netアーキテクチャの性能を比較すること。
• 損失関数とデータ拡張がセグメンテーション精度に与える影響を評価すること。
• 異なる超音波装置および話者データセット間でのモデルの汎化性能を評価すること。

提案手法

• 本手法は、超音波画像における舌組織界面に対応する最も明るい縁をセグメンテーションするために、U-NetおよびDense U-Netアーキテクチャを用いる。
• U-Netはエンコーダーとデコーダーのパスの間にスキップ接続を採用し、空間的詳細を保持する。
• Dense U-NetはエンコーダーパathにDenseNetブロックを統合し、特徴量の再利用を向上させるために密なスキップ接続を用いる。
• シグモイド活性化関数を用いた1×1畳み込み層が最終的なセグメンテーションマスクを出力する。
• 後処理により、セグメンテーションマスクが滑らかで連続的な舌形状曲線に変換される。
• モデルは、Dice損失や複合損失を含む複数の損失関数と、モデルの頑健性向上を目的としたデータ拡張戦略を用いて訓練される。

実験結果

リサーチクエスチョン

• RQ1 U-NetとDense U-Netは、多様な超音波データセットにおいて、自動舌形状追跡でどの程度の性能を示すか？
• RQ2 このタスクにおける異なる損失関数がセグメンテーション精度に与える影響は何か？
• RQ3 データ拡張はモデルの汎化性能と性能にどのように影響するか？
• RQ4 モデルは異なる超音波装置や話者特性の間で汎化可能か？
• RQ5 実世界の応用において、U-NetとDense U-Netの推論速度はどのように比較されるか？

主な発見

• Dense U-Netは64×64画素解像度でNSテストセットにおいて平均距離和（MSD）5.03ピクセル（標準偏差2.52）を達成し、この設定でU-Netを上回った。
• U-Netの平均推論速度は約63フレーム／秒であったのに対し、Dense U-Netは一般消費者向けラップトップで約29フレーム／秒を処理した。
• 複合損失関数は、すべてのモデルとデータセットにおいてDice損失を上回る性能を示し、特に難易度の高いUltraSpeechデータセットでは安定性が向上した。
• Dense U-Netは優れた汎化性能を示し、UltraSpeechデータセットではMSDが5.72ピクセル（標準偏差2.88）であったのに対し、U-Netは複合損失を用いた場合8.25ピクセルであった。
• 画像解像度は性能に非単調な影響を及ぼし、Dense U-Netでは64×64が最良の結果をもたらした。これは最適な詳細量とノイズのバランスを示唆している。
• このツールは手作業によるアノテーション作業を顕著に削減し、最小限の人的介入で完全自動の形状抽出を可能にした。