[论文解读] Accessible Melanoma Detection using Smartphones and Mobile Image Analysis

Thanh-Toan Do, Tuan Hoang+7 more|arXiv (Cornell University)|Nov 27, 2017

Cutaneous Melanoma Detection and Management参考文献 48被引用 5

一句话总结

本文提出了一种基于智能手机的移动健康系统，利用可见光图像实现可及的黑色素瘤早期检测。该系统结合轻量级皮肤病变分割、新型图像特征以及优化的特征选择方法，在包含184个皮肤病变的临床数据集上实现了≥90%特异性的89.09%敏感度，同时通过人机交互（HCI）评估解决了可用性和接受度方面的挑战。

ABSTRACT

We investigate the design of an entire mobile imaging system for early detection of melanoma. Different from previous work, we focus on smartphone-captured visible light images. Our design addresses two major challenges. First, images acquired using a smartphone under loosely-controlled environmental conditions may be subject to various distortions, and this makes melanoma detection more difficult. Second, processing performed on a smartphone is subject to stringent computation and memory constraints. In our work, we propose a detection system that is optimized to run entirely on the resource-constrained smartphone. Our system intends to localize the skin lesion by combining a lightweight method for skin detection with a hierarchical segmentation approach using two fast segmentation methods. Moreover, we study an extensive set of image features and propose new numerical features to characterize a skin lesion. Furthermore, we propose an improved feature selection algorithm to determine a small set of discriminative features used by the final lightweight system. In addition, we study the human-computer interface (HCI) design to understand the usability and acceptance issues of the proposed system.

研究动机与目标

• 开发一种低成本、可及的移动解决方案，利用普通智能手机实现黑色素瘤的早期检测。
• 解决智能手机拍摄图像中的挑战，包括环境失真和计算资源限制。
• 设计一种轻量级、设备端运行的系统，实现实时、设备端的皮肤病变分类。
• 通过新型图像特征和优化的特征选择提高检测准确性。
• 通过人机交互（HCI）研究评估可用性和用户接受度，识别实际部署中的关键设计挑战。

提出的方法

• 分层分割方法结合轻量级皮肤检测方法与两种快速分割算法，以定位皮肤病变。
• 提出一组新的数值图像特征，用于从可见光智能手机图像中捕捉颜色变化和边界不规则性。
• 改进的特征选择算法识别出一个紧凑且具有区分性的特征子集，以降低计算负载。
• 采用具有融合策略的分类器阵列，提升分类性能，同时保持低资源消耗。
• 系统在智能手机上完全实现，以确保隐私和实时运行。
• 通过半结构化访谈和案例研究开展人机交互（HCI）评估，以评估用户信任度、感知和界面设计。

实验结果

研究问题

• RQ1 基于智能手机的系统能否仅使用可见光图像实现高敏感度和高特异性检测黑色素瘤？
• RQ2 如何在资源受限的移动平台中优化图像分割与特征提取？
• RQ3 哪些新型图像特征最能捕捉智能手机拍摄图像中的皮肤科体征？
• RQ4 如何改进特征选择，以在最小化计算负载的同时保持高准确性？
• RQ5 在为普通用户部署自我诊断黑色素瘤应用程序时，会面临哪些可用性和接受度方面的挑战？

主要发现

• 在包含117个良性痣和67个恶性黑色素瘤的数据库上，系统实现了在至少90%特异性的条件下89.09%的敏感度。
• 所提出的分层分割方法在不同光照和图像质量条件下均能有效定位皮肤病变。
• 新提出的图像特征显著提升了分类准确性，通过捕捉颜色变化和边界不规则性等关键皮肤科体征。
• 经过优化的特征选择算法将特征集缩减为一个紧凑且高度区分性的子集，实现了高效的设备端处理。
• 人机交互（HCI）评估显示，用户（尤其是老年人）对感知伤害表示担忧，更倾向于获得基于风险概率的透明结果，而非直接诊断。
• 参与者强调了可解释性的重要性，要求了解诊断的推理过程，以建立信任并鼓励后续就医。