[論文レビュー] A Computer Vision Application for Assessing Facial Acne Severity from Selfie Images

Tingting Zhao, Hang Zhang+1 more|arXiv (Cornell University)|Jul 18, 2019

Acne and Rosacea Treatments and Effects参考文献 8被引用数 23

ひとこと要約

本論文では、スキンショット画像から顔面のにきびの重症度を評価するディープラーニングベースのコンピュータビジョンシステムを提示している。このシステムは皮膚科医と同等の性能を示し、ResNet-152を用いたトランスファーラーニングと、新しい画像ローリングデータオーグメンテーション技術を組み合わせることで、空間的一般化性能が向上し、テスト画像において皮膚科医パネルの半数以上を上回る性能を発揮した。これは、スクリーンショット画像を用いたにきび重症度推定のための最初のソリューションである。

ABSTRACT

We worked with Nestle SHIELD (Skin Health, Innovation, Education, and Longevity Development, NSH) to develop a deep learning model that is able to assess acne severity from selfie images as accurate as dermatologists. The model was deployed as a mobile application, providing patients an easy way to assess and track the progress of their acne treatment. NSH acquired 4,700 selfie images for this study and recruited 11 internal dermatologists to label them in five categories: 1-Clear, 2- Almost Clear, 3-Mild, 4-Moderate, 5-Severe. Using OpenCV to detect facial landmarks we cut specific skin patches from the selfie images in order to minimize irrelevant background. We then applied a transfer learning approach by extracting features from the patches using a ResNet 152 pre-trained model, followed by a fully connected layer trained to approximate the desired severity rating. To address the problem of spatial sensitivity of CNN models, we introduce a new image rolling data augmentation approach, effectively causing acne lesions appeared in more locations in the training images. Our results demonstrate that this approach improved the generalization of the CNN model, outperforming more than half of the panel of human dermatologists on test images. To our knowledge, this is the first deep learning-based solution for acne assessment using selfie images.

研究の動機と目的

• スマートフォンで撮影したセルフィー画像を用いて、正確でアクセスしやすいにきび重症度の評価法を開発すること。
• にきび病変検出におけるCNNモデルの限られた臨床データと空間的感受性の課題に対処すること。
• 患者がにきびの進行を長期間にわたり自己追跡できるモバイルアプリケーションの開発。
• セルフィー画像におけるにきび病変の多様性に特化した革新的なデータオーグメンテーションにより、モデルの一般化性能を向上させること。
• ディープラーニングモデルが、セルフィー画像から皮膚科医レベルの正確さでにきび重症度分類を達成できることを示すこと。

提案手法

• 背景の干渉を低減するために、OpenCVを用いてセルフィー画像から顔面の特徴点を検出し、皮膚パッチを分離した。
• クロップされた皮膚パッチからの特徴抽出に、事前学習済みのResNet-152モデルを用いた。
• 5段階の重症度スケール（1＝クリアから5＝重度）でのにきび重症度予測を目的とした、全結合層を微調整した。
• 病変の位置が異なる状況を模倣するために、新しい画像ローリングデータオーグメンテーション戦略を導入し、モデルのロバスト性を向上させた。
• モデルは、11名の皮膚科医が5段階の重症度カテゴリにラベル付けした4,700枚のラベル付きセルフィー画像で学習した。
• 最終的なモデルは、リアルタイムのにきび重症度評価が可能なモバイルアプリケーションとしてデプロイされた。

実験結果

リサーチクエスチョン

• RQ1 セルフィー画像で学習したディープラーニングモデルは、にきび重症度分類において皮膚科医と同等の正確さを達成できるか？
• RQ2 CNNにおける空間的感受性はにきび病変検出にどのように影響するか？また、データオーグメンテーションによってこれを軽減できるか？
• RQ3 新しい画像ローリングデータオーグメンテーション手法は、にきび重症度推定におけるモデルの一般化性能を向上させるか？
• RQ4 モバイルデプロイ可能なコンピュータビジョンシステムは、患者のにきび進行の自己追跡を効果的に支援できるか？
• RQ5 未知のテスト画像において、ディープラーニングモデルの性能は皮膚科医パネルと比べてどうか？

主な発見

• モデルは、セルフィー画像からのにきび重症度分類において、皮膚科医と同等の性能を達成した。
• 提案された画像ローリングデータオーグメンテーションは、病変の位置変動に対するモデルの一般化性能とロバスト性を顕著に向上させた。
• テストセットにおいて、モデルは皮膚科医パネルの半数以上を上回り、優れた一貫性を示した。
• システムは、モバイルアプリケーションを通じてリアルタイムのにきび重症度評価を実現し、患者の自己追跡を支援した。
• これは、唯一のセルフキャプチャードスマートフォン画像を用いたにきび重症度推定のための最初のディープラーニングベースのソリューションである。
• 顔面特徴点検出と皮膚パッチ抽出の活用により、関連する顔面領域にモデルの注目を集中させ、正確性が向上した。