[論文レビュー] Out-of-Distribution Detection for Skin Lesion Images with Deep Isolation Forest

Xuan Li, Yuchen Lu+2 more|arXiv (Cornell University)|Mar 20, 2020

Cutaneous Melanoma Detection and Management参考文献 18被引用数 4

ひとこと要約

本稿では、事前学習済みの深層畳み込みニューラルネットワークと特徴表現上で分離木（Isolation Forest）を組み合わせた非パrametricな分布外（OOD）検出手法であるDeepIFを提案する。この手法は、HAM10000データセットにおいて、クラス内多様性をよりよく捉えることで、ガウスベースのベースラインに比べてOOD検出AUCを20%向上させ、最先端の性能を達成した。

ABSTRACT

In this paper, we study the problem of out-of-distribution detection in skin disease images. Publicly available medical datasets normally have a limited number of lesion classes (e.g. HAM10000 has 8 lesion classes). However, there exists a few thousands of clinically identified diseases. Hence, it is important if lesions not in the training data can be differentiated. Toward this goal, we propose DeepIF, a non-parametric Isolation Forest based approach combined with deep convolutional networks. We conduct comprehensive experiments to compare our DeepIF with three baseline models. Results demonstrate state-of-the-art performance of our proposed approach on the task of detecting abnormal skin lesions.

研究の動機と目的

• 限られたトレーニングデータセット（例：8クラスのHAM10000データセット）に存在しない皮膚病変を検出する課題に対処すること。このデータセットは、既知の数千種類の皮膚疾患タイプを十分にカバーしていない。
• 皮膚病変画像の高いクラス内可変性を捉えることが難しい、クラス条件付きガウスモデルの限界を克服すること。
• 事前学習済みのCNNのみを必要とし、インディストリビューションまたはアウトオブディストリビューションのデータに特定の分布を仮定しない、柔軟で非パrametricなOOD検出フレームワークを開発すること。
• 畳み込み層の異なる特徴表現が、医療画像におけるOOD検出に与える影響を評価すること。

提案手法

• 本手法は、事前学習済みの深層畳み込みニューラルネットワーク（CNN）を用いて、皮膚病変画像からの特徴を抽出する。これは、トレーニング中に学習された意味的表現を活用する。
• 抽出された特徴に対して分離木（IF）を適用し、OODサンプルを検出する。その原理は、異常値は木構造内でより少ない分割回数で分離可能であるという点に基づく。
• パラメトリック手法とは異なり、IFは正常データに特定の分布（例：ガウス分布）を仮定しないため、皮膚病変特徴の複雑で多峰性を持つ分布に対してもロバストである。
• 特徴の深さがOOD検出性能に与える影響を分析するために、複数の畳み込み層（例：f_{-1} から f_{-4}）からの特徴を用いてアプローチを適用する。
• 正規性スコアは、分離木内の平均パス長を用いて計算され、低いスコアは異常度が高いかつ高い可能性を示す。
• 標準指標（AUROC、AUPR、95% TPRにおけるTNR）を用いて、複数のOODセット（例：MEL、BCC、DF、VASC、SCC）に対して評価を行う。

実験結果

リサーチクエスチョン

• RQ1 分離木のような非パラメトリックな異常検出手法は、クラス内可変性が著しい皮膚病変のOOD検出において、クラス条件付きガウスモデルに比べて優れた性能を示すか？
• RQ2 事前学習済みCNNの浅い層から深い層までの特徴層の選択が、OOD検出性能に与える影響は何か？
• RQ3 DeepIFは、マハラノビス距離やVAEベースのベースラインに比べて、インディストリビューションとアウトオブディストリビューションのサンプルの分離が良好か？
• RQ4 DeepIFの性能向上は、希少または視覚的に顕著な皮膚病変を含む多様なOODクラスにおいて一貫しているか？
• RQ5 最後の畳み込み層は、皮膚科画像におけるOOD検出に最も表現力のある特徴を提供するか？

主な発見

• DeepIFは、ガウスベースのマハラノビス距離法に比べ、OOD検出率を20%向上させ、全OODセットの平均AUROCが0.7136に達した。
• 図2および図3のスコア分布とROC曲線の明確な差異から、インディストリビューションとOODサンプルの分離が優れていることが示された。
• 最後の畳み込み層（f_{-1}）からの特徴を用いることで、ほとんどの病変タイプで最も高いOOD検出性能が得られたが、NVではより深い層がわずかに優れた結果を示した。
• 浅い層（f_{-2} から f_{-4}）からの特徴を用いるとうまくいかず、性能が著しく低下した。これは、異常検出に意味的レベルの特徴表現が不可欠であることを示している。
• BCC OODセットでは、DeepIFがAUROC 0.7539を達成し、マハラノビスベースライン（0.5771）およびVAE（0.5315）を大きく上回った。
• SCC OODセットでは、95% TPRにおけるTNRが0.2573に達し、高い再現率を維持しながらも特異性を保つ優れた性能を示した。