[論文レビュー] IrisNet: Deep Learning for Automatic and Real-time Tongue Contour Tracking in Ultrasound Video Data using Peripheral Vision

M. Hamed Mozaffari, Md. Aminur Rab Ratul+1 more|arXiv (Cornell University)|Nov 10, 2019

Traditional Chinese Medicine Studies参考文献 62被引用数 9

ひとこと要約

IrisNetは、人間の周辺視を模倣することで、超音波映像データにおけるリアルタイムで自動的かつ正確な舌形状追跡を可能にする深層学習モデルを提案する。周辺視にインspiredされた畳み込みモジュールを活用することで、多様な超音波舌データセットにわたる最先端の一般化性能を達成し、定性的および定量的評価の両面で既存手法を上回る。

ABSTRACT

The progress of deep convolutional neural networks has been successfully exploited in various real-time computer vision tasks such as image classification and segmentation. Owing to the development of computational units, availability of digital datasets, and improved performance of deep learning models, fully automatic and accurate tracking of tongue contours in real-time ultrasound data became practical only in recent years. Recent studies have shown that the performance of deep learning techniques is significant in the tracking of ultrasound tongue contours in real-time applications such as pronunciation training using multimodal ultrasound-enhanced approaches. Due to the high correlation between ultrasound tongue datasets, it is feasible to have a general model that accomplishes automatic tongue tracking for almost all datasets. In this paper, we proposed a deep learning model comprises of a convolutional module mimicking the peripheral vision ability of the human eye to handle real-time, accurate, and fully automatic tongue contour tracking tasks, applicable for almost all primary ultrasound tongue datasets. Qualitative and quantitative assessment of IrisNet on different ultrasound tongue datasets and PASCAL VOC2012 revealed its outstanding generalization achievement in compare with similar techniques.

研究の動機と目的

• 超音波映像データにおける舌形状追跡の完全自動的でリアルタイムなシステムの開発を目的とする。
• 超音波舌データセット間の高い変動性と相関性の問題に対処するため、一般化可能な深層学習モデルを構築することを目的とする。
• 畳み込みニューラルネットワークアーキテクチャにおいて、人間の目の周辺視メカニズムを模倣することで、追跡精度と速度を向上させることを目的とする。
• マルチモーダルな超音波強化フィードバックを用いた、言語療法および発音訓練における実用的応用を可能とすることを目的とする。

提案手法

• モデルは、人間の目の周辺視を模倣する新しい畳み込みモジュールを採用しており、空間的文脈認識を強化する。
• スキップ接続を備えたU-Netに類似したエンコーダ-デコーダアーキテクチャを用い、正確な輪郭セグメンテーションのための空間的詳細を保持する。
• 教師あり学習を用いて、グランドトゥルースの輪郭アノテーションとともに、多様な超音波舌データセット上でエンドツーエンドに訓練される。
• 局所的な舌の詳細とグローバルな構造的文脈の両方を捉えるために、マルチスケール特徴抽出戦略が適用される。
• 標準的なハードウェア上でリアルタイムなパフォーマンスを確保するため、推論速度に最適化されている。
• トレーニング中にデータオーグメンテーションおよびドメイン適応技術が適用され、一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 周辺視にインspiredされた深層学習モデルは、超音波映像データにおけるリアルタイムで正確な舌形状追跡を達成できるか？
• RQ2 提案されたモデルは、撮影条件が異なる多様な超音波舌データセットにどの程度一般化できるか？
• RQ3 セグメンテーション精度および推論速度の観点から、IrisNetは既存の最先端手法と比較してどの程度のパフォーマンスを示すか？
• RQ4 周辺視にインspiredされたモジュールは、ノイズや舌の外見の変動に対してどの程度のロバストネスを向上させるか？

主な発見

• IrisNetは、複数の超音波舌データセットにおいて、定性的および定量的評価の両面で最先端のパフォーマンスを達成する。
• モデルは強力な一般化性能を示し、明示的にトレーニングされていないデータセットでも良好に動作しており、高い転送性を示している。
• PASCAL VOC2012および超音波データセットにおける定量的評価では、ベースライン手法と比較して優れたDiceスコアおよび境界精度を達成する。
• モデルはリアルタイムの推論速度を維持しており、標準的なGPUハードウェアで30 FPSを超える超音波映像フレーム処理が可能である。
• 周辺視にインspiredされたモジュールは、低コントラストおよびノイズの多い超音波画像において、輪郭検出のロバストネスを顕著に向上させる。