[논문 리뷰] OralCam: Enabling Self-Examination and Awareness of Oral Health Using a Smartphone Camera

Yuan Liang, Hsuan-Wei Fan외 8명|arXiv (Cornell University)|2020. 01. 16.

Dental Research and COVID-19참고 문헌 52인용 수 5

한 줄 요약

OralCam는 스마트폰을 활용한 모바일 헬스 애플리케이션로, 일반 사용자가 스마트폰로 촬영한 구강 내부 영상으로 다섯 가지 흔한 구강 질환—치주질환, 충치, 연질 침착물, 치석, 변색—을 자가 진찰할 수 있도록 한다. 이는 딥러닝과 사용자가 제공한 맥락 정보(예: 통증, 습관 등)를 융합하여 계층적이고 확률적이며 설명 가능한 결과를 제공하며, 전문가가 주석 처리한 3,182장의 이미지로 구성된 데이터셋에서 평균 감지 민감도 0.787을 달성한다.

ABSTRACT

Due to a lack of medical resources or oral health awareness, oral diseases are often left unexamined and untreated, affecting a large population worldwide. With the advent of low-cost, sensor-equipped smartphones, mobile apps offer a promising possibility for promoting oral health. However, to the best of our knowledge, no mobile health (mHealth) solutions can directly support a user to self-examine their oral health condition. This paper presents OralCam, the first interactive app that enables end-users' self-examination of five common oral conditions (diseases or early disease signals) by taking smartphone photos of one's oral cavity. OralCam allows a user to annotate additional information (e.g. living habits, pain, and bleeding) to augment the input image, and presents the output hierarchically, probabilistically and with visual explanations to help a laymen user understand examination results. Developed on our in-house dataset that consists of 3,182 oral photos annotated by dental experts, our deep learning based framework achieved an average detection sensitivity of 0.787 over five conditions with high localization accuracy. In a week-long in-the-wild user study (N=18), most participants had no trouble using OralCam and interpreting the examination results. Two expert interviews further validate the feasibility of OralCam for promoting users' awareness of oral health.

연구 동기 및 목표

• 광범위하게 사용 가능한 스마트폰 기술을 활용해 전 세계적인 구강 건강 인식 부족과 진료 접근성 격차를 해소한다.
• 임상 환경 외에서 직접적인 자가 진단을 지원하는 mHealth 도구의 부족을 극복한다.
• 비전문가 사용자가 이해하고 신뢰할 수 있으며, 행동에 옮길 수 있는 피드백을 제공하는 시스템을 설계한다.
• 이미지, 사용자 보고 증상, 주석 등 다중 모odal 입력을 통합하여 감지 정확도와 맥락적 관련성을 향상시킨다.
• 시각적 설명 가능성을 갖춘 딥러닝 프레임워크를 개발하여 사용자에게 구강 질환을 국소화하고 분류한다.

제안 방법

• 치과 전문가가 다섯 가지 흔한 구강 질환에 대해 주석 처리한 3,182장의 구강 내부 영상으로 구성된 내부 데이터셋을 구축했다.
• 주석 처리된 데이터셋으로 훈련된 딥러닝 모델을 구현하여 스마트폰로 촬영한 영상에서 구강 질환을 감지하고 국소화한다.
• 사용자가 이미지를 주석 처리하고 통증, 출혈, 습관 등의 증상에 대한 설문 조사에 응답할 수 있도록 입력 방식을 확장하여 모델의 사전 지식으로 활용한다.
• 계층적이고 확률적인 출력 인터페이스를 설계하여 결과를 시각적 국소화와 신뢰도 점수와 함께 제시함으로써 사용자의 이해도를 향상시켰다.
• 모델의 주의 영역을 보여주는 히트맵 시각화를 통합하여 예측에 대한 투명성과 사용자 신뢰도를 향상시켰다.
• 실외에서 진행된 1주일간의 사용자 연구(N=18)와 전문가 인터뷰를 통해 사용성, 해석 가능성, 임상 실현 가능성을 평가했다.

실험 결과

연구 질문

• RQ1 스마트폰 기반 모바일 앱이 비전문가 사용자가 흔한 구강 질환을 수용 가능한 정확도와 사용성으로 자가 진찰할 수 있는가?
• RQ2 사용자가 보고한 맥락 정보(예: 통증, 습관 등)를 통합할 경우 딥러닝 모델의 구강 질환 감지 성능은 어떻게 향상되는가?
• RQ3 시각적 설명 가능성(예: 히트맵, 국소화)은 AI 기반 구강 건강 평가 결과에 대한 사용자 신뢰도와 이해도를 어느 정도 향상시키는가?
• RQ4 실생활 환경에서 AI 기반 구강 자가 진찰을 구현할 때의 주요 기술적 및 사용성 과제는 무엇인가?
• RQ5 치과 전문가들은 OralCam와 같은 AI 기반 자가 진찰 도구의 임상 실현 가능성과 신뢰성에 대해 어떻게 평가하는가?

주요 결과

• 딥러닝 모델은 내부 데이터셋인 전문가 주석 처리 3,182장의 이미지에서 다섯 가지 구강 질환에 대해 평균 감지 민감도 0.787을 달성했다.
• 18명의 참가자가 참여한 1주일간의 실외 사용자 연구에서 대부분의 사용자가 OralCam의 사용이나 결과 해석에 어려움을 느끼지 않았다.
• 치과 전문가들은 시스템의 감지 성능을 매우 높게 평가하였으며, 평균 4.2점과 4.8점(5점 만점)을 기록하여 강력한 임상 수용 가능성을 시사했다.
• 모델의 성능은 이미지 품질에 크게 영향을 받았는데, 초점이 흐리거나 조명이 부적절한 경우 오진 및 빠진 감지가 발생했다.
• 전문가들은 다수의 시야에서 촬영하고 조명을 개선함으로써 오류를 줄일 것을 권고하였으며, 특히 그림자나 어두운 영역의 경우 더욱 그러하다고 지적했다.
• 사용자들은 국소화 외에도 이유 설명(예: '검은 틈새로 인해 경고')과 같은 설명이 필요하다고 밝혀, 향후 버전에서 설명 가능한 AI의 필요성이 제기되었다.