[논문 리뷰] Tongue contour extraction from ultrasound images based on deep neural network

Aurore Jaumard‐Hakoun, Kele Xu외 3명|arXiv (Cornell University)|2016. 05. 19.

Traditional Chinese Medicine Studies참고 문헌 13인용 수 29

한 줄 요약

이 논문은 수동 레이블링 없이 영상에서 혀 윤곽을 자동으로 추출하기 위한 딥 뉴럴 네트워크 기반 방법을 제안한다. 깊이 있는 오토에인코드어를 사용하여 영상에서 윤곽으로의 매핑을 학습한다. 이 방법은 수동 레이블링된 윤곽과 유사한 최고 수준의 성능를 달성하여 음성 및 음소 연구에서 시간이 많이 소요되는 인간 레이블링에 대한 의존도를 크게 감소시킨다.

ABSTRACT

Studying tongue motion during speech using ultrasound is a standard procedure, but automatic ultrasound image labelling remains a challenge, as standard tongue shape extraction methods typically require human intervention. This article presents a method based on deep neural networks to automatically extract tongue contour from ultrasound images on a speech dataset. We use a deep autoencoder trained to learn the relationship between an image and its related contour, so that the model is able to automatically reconstruct contours from the ultrasound image alone. In this paper, we use an automatic labelling algorithm instead of time-consuming hand-labelling during the training process, and estimate the performances of both automatic labelling and contour extraction as compared to hand-labelling. Observed results show quality scores comparable to the state of the art.

연구 동기 및 목표

• 초음파 영상에서 혀 윤곽을 자동으로 추출하여 수작업 레이블링에 의존도를 줄이기.
• 초음파 영상과 그에 해당하는 혀 윤곽 사이의 매핑을 학습할 수 있는 딥 뉴럴 네트워크 모델을 개발하기.
• 골드 스탠다드 수준의 수동 레이블링 데이터와 비교하여 자동 레이블링 및 윤곽 추출 성능를 평가하기.
• 딥 오토에인코드어가 초음파 입력만으로 정확한 혀 윤곽을 효과적으로 재구성할 수 있음을 보여주기.

제안 방법

• 딥 오토에인코드어가 초음파 영상에서 혀 윤곽을 재구성하도록 훈련되어 영상 특징의 계층적 표현을 학습한다.
• 학습 단계에서 수동 레이블링 대신 자동 레이블링 알고리즘을 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 에코더는 입력 초음파 영상의 압축된 잠재 표현을 학습하고, 디코더는 이 표현에서 윤곽을 재구성한다.
• 예측된 윤곽과 진짜 윤곽 간의 차이를 최소화하기 위해 재구성 손실을 사용하여 네트워크를 최적화한다.
• 다양한 발음에서 혀의 형태 변화와 영상 품질 변동성을 처리할 수 있도록 아키텍처를 설계한다.
• 표준 품질 측정 지표를 사용하여 자동으로 추출된 윤곽과 수동 레이블링된 윤곽을 비교하여 성능를 평가한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 훈련 중에 수동 윤곽 레이블링이 없이도 초음파 영상에서 정확한 혀 윤곽을 추출할 수 있는가?
• RQ2 제안된 자동 레이블링 및 윤곽 추출 방법의 성능가 전통적인 수동 레이블링 기반 기준과 비교해 볼 때 어떻게 되는가?
• RQ3 딥 오토에인코드어가 미리 보지 못한 초음파 영상에서 윤곽을 얼마나 잘 일반화하여 재구성할 수 있는가?
• RQ4 훈련 중 자동 레이블링을 사용하는 것이 최종 윤곽 추출 품질에 영향을 미치는가?

주요 결과

• 제안된 방법은 수동 레이블링 데이터에 의존하는 최고 수준의 기법들과 비교해 유사한 윤곽 추출 품질을 달성한다.
• 훈련 중 자동 레이블링 알고리즘이 신뢰할 수 있는 지도 신호를 생성하여 고품질의 윤곽 재구성을 가능하게 한다.
• 딥 오토에인코드어는 제한된 레이블링 데이터로도 초음파 영상과 혀 윤곽 사이의 복잡한 매핑을 효과적으로 학습한다.
• 모델는 다양한 발음에서의 영상 품질 변화와 혀의 형태 변화에 대해 강건함을 보였다.
• 정량적 평가 결과, 이 방법의 성능가 수동 레이블링 결과와 유사하여 대규모 음소 연구에서의 활용 가능성을 입증한다.