[論文レビュー] OralCam: Enabling Self-Examination and Awareness of Oral Health Using a Smartphone Camera

Yuan Liang, Hsuan-Wei Fan+8 more|arXiv (Cornell University)|Jan 16, 2020

Dental Research and COVID-19参考文献 52被引用数 5

ひとこと要約

OralCam は、スマートフォンで撮影した口内画像を用いて、一般ユーザーが歯周病、う蝕、軟性歯垢、歯石、変色の5つの一般的な口腔状態を自己検査できるモバイルヘルスアプリケーションです。深層学習とユーザーが入力する文脈的情報（例：痛み、習慣）を組み合わせ、階層的で確率的かつ説明可能な結果を提供し、専門家がアノテートした3,182枚の画像からなるデータセットで平均検出感度0.787を達成しました。

ABSTRACT

Due to a lack of medical resources or oral health awareness, oral diseases are often left unexamined and untreated, affecting a large population worldwide. With the advent of low-cost, sensor-equipped smartphones, mobile apps offer a promising possibility for promoting oral health. However, to the best of our knowledge, no mobile health (mHealth) solutions can directly support a user to self-examine their oral health condition. This paper presents OralCam, the first interactive app that enables end-users' self-examination of five common oral conditions (diseases or early disease signals) by taking smartphone photos of one's oral cavity. OralCam allows a user to annotate additional information (e.g. living habits, pain, and bleeding) to augment the input image, and presents the output hierarchically, probabilistically and with visual explanations to help a laymen user understand examination results. Developed on our in-house dataset that consists of 3,182 oral photos annotated by dental experts, our deep learning based framework achieved an average detection sensitivity of 0.787 over five conditions with high localization accuracy. In a week-long in-the-wild user study (N=18), most participants had no trouble using OralCam and interpreting the examination results. Two expert interviews further validate the feasibility of OralCam for promoting users' awareness of oral health.

研究の動機と目的

• 広く利用可能なスマートフォン技術を活用して、世界的な口腔保健への意識とケアへのアクセスのギャップを埋める。
• 臨床的状況を超えた環境で、直接的な自己評価を支援するmHealthツールの不足を補う。
• 非専門家ユーザーが理解でき、信頼でき、行動を促せるフィードバックを提供するシステムを設計する。
• 画像、ユーザー報告の症状、アノテーションなどのマルチモーダル入力を統合して、検出精度と文脈的関連性を向上させる。
• 視覚的説明可能性を備えた深層学習フレームワークを開発し、エンドユーザーに対して病変の局所化と分類を実現する。

提案手法

• 歯科専門家が5つの一般的な口腔状態についてアノテートした3,182枚の口内画像から構成される自社内データセットを構築した。
• アノテート済みデータセットで訓練された深層学習モデルを実装し、スマートフォンで撮影された画像における口腔状態の検出と局所化を実現した。
• 入力モodal を拡張し、ユーザーが画像にアノテーションを追加し、痛み、出血、習慣などの症状に関するアンケートに回答できるようにした。これらの情報はモデルの事前分布として機能する。
• 視覚的局所化と信頼度スコアを提示することで、ユーザーの理解を高める階層的で確率的な出力インターフェースを設計した。
• モデルの注目領域を示すヒートマップ可視化を統合し、予測に対する透明性とユーザーの信頼を向上させた。
• 18名の参加者による1週間の現実世界でのユーザースタディと専門家インタビューを実施し、使いやすさ、解釈可能性、臨床的妥当性を評価した。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンベースのモバイルアプリは、非専門家ユーザーが、妥当な精度と使いやすさで一般的な口腔状態を自己検査できるか？
• RQ2 ユーザーが報告する文脈的情報（例：痛み、習慣）を統合することで、深層学習モデルの口腔状態検出性能はどのように向上するか？
• RQ3 視覚的説明可能性（例：ヒートマップ、局所化）は、AIが生成する口腔保健評価の信頼性と理解度をどの程度向上させるか？
• RQ4 実世界の環境にAIベースの口腔自己検査を導入するにあたり、主な技術的および使いやすさの課題は何か？
• RQ5 歯科専門家は、OralCam のようなAI駆動の自己検査ツールの臨床的妥当性と信頼性をどのように評価するか？

主な発見

• 深層学習モデルは、自社内データセットの3,182枚の専門家アノテート済み画像において、5つの口腔状態の平均検出感度が0.787を達成した。
• 18名の参加者による1週間の現実世界でのユーザースタディでは、大多数のユーザーがOralCamの使用や結果の解釈に困難を感じなかった。
• 専門家はシステムの検出性能を高く評価し、平均4.2および4.8（5段階評価）のスコアを付与し、強い臨床的受容性を示した。
• モデルの性能は画像品質に著しく影響を受けており、ピントが合っていないことや不適切な照明は、誤検出や見逃しを引き起こした。
• 専門家は、複数の視点での撮影と照明の改善を推奨し、特に影が多く入るか、照明が不足している領域の誤差を低減するよう提案した。
• ユーザーは局所化以上の説明、例えば「黒い欠けが原因でフラグが立った」といった理由の説明を求める声を示し、今後のバージョンでは説明可能なAIの実装が求められていることが示された。