[論文レビュー] Anomaly Detection for imbalanced datasets with Deep Generative Models

Nazly Rocio Santos Buitrago, Loek Tonnaer+2 more|arXiv (Cornell University)|Nov 2, 2018

Generative Adversarial Networks and Image Synthesis参考文献 14被引用数 6

ひとこと要約

本稿では、主に医療画像における高インバランスなデータセットを対象として、VAEおよびGANを用いた異常検出フレームワークを提案する。モデルは正常（ネガティブ）サンプルのみで訓練され、その後、低尤度スコアによって異常（例：肺結節）を検出する。結果として、VAEはMNISTではAUROC 0.84を達成したが、NLST肺CTデータでは0.62にとどまり、GANはAUROC 0.58と低かった。これは、現在の生成モデルが複雑な医療画像分布をうまく捉えられていないことを示している。

ABSTRACT

Many important data analysis applications present with severely imbalanced datasets with respect to the target variable. A typical example is medical image analysis, where positive samples are scarce, while performance is commonly estimated against the correct detection of these positive examples. We approach this challenge by formulating the problem as anomaly detection with generative models. We train a generative model without supervision on the `negative' (common) datapoints and use this model to estimate the likelihood of unseen data. A successful model allows us to detect the `positive' case as low likelihood datapoints. In this position paper, we present the use of state-of-the-art deep generative models (GAN and VAE) for the estimation of a likelihood of the data. Our results show that on the one hand both GANs and VAEs are able to separate the `positive' and `negative' samples in the MNIST case. On the other hand, for the NLST case, neither GANs nor VAEs were able to capture the complexity of the data and discriminate anomalies at the level that this task requires. These results show that even though there are a number of successes presented in the literature for using generative models in similar applications, there remain further challenges for broad successful implementation.

研究の動機と目的

• 正常例が著しく多いが、異常例が極めて少ない医療画像分野における、高インバランスなデータセットにおける異常検出の課題に対処すること。
• 教師あり異常ラベルを訓練時に使用せずに、深層生成モデルが正常データの分布を効果的に学習し、希少な異常例を検出できるかを調査すること。
• MNIST（異常として9の数字）とNLST（CTスキャンからの肺結節）という2つの異なるデータセットにおいて、最先端の生成モデル（VAEおよびGAN）の性能を評価すること。
• 限られたデータで実世界の臨床現場における、深層生成モデルを用いた尤度ベースの異常検出の頑健性および一般化能力を評価すること。
• 現在の生成モデルが、信頼できる異常検出を実現するための、複雑で高次元な医療画像分布をどれだけ正確に捉えられるかの限界を同定すること。

提案手法

• VAEおよびGANを、正常（ネガティブ）サンプルのみで教師なしで訓練し、元のデータ分布を学習する。
• モデルパラメータを最適化するために最尤推定（MLE）を用い、負の対数尤度を最小化する：$ E(w) = -\sum_i \log p[x_i|f(x_i;w)] $。
• テストサンプルの尤度スコアを計算する：尤度が低いほど異常である可能性が高い。
• 尤度スコアを用いてしきい値ベースの分類を実行し、正常と異常を区別する。
• MNISTおよびNLSTデータセットの両方で、受信者操作特性曲線（ROC）とAUROCスコアを用いてモデル性能を評価する。
• NLSTでは、ボクセル単位のCT結節データを扱うために、VAEおよびGANの両方で3次元畳み込みアーキテクチャを用いる。

実験結果

リサーチクエスチョン

• RQ1 VAEおよびGANは、インバランスなデータセットにおける正常データの分布を、尤度推定を用いて効果的に学習し、異常を検出できるか？
• RQ2 標準ベンチマーク（MNIST）と複雑な実世界の医療データセット（NLST CT結節）の両方において、VAEとGANの性能はどのように比較されるか？
• RQ3 現在の深層生成モデルは、特に悪性と良性の肺結節を区別する能力を持つ3次元医療画像データの複雑さをどれだけ正確に捉えられるか？
• RQ4 NLSTデータセットにおいて、訓練データ数を増やすことでVAEおよびGANの異常検出性能が向上するか？
• RQ5 VAEおよびGANの尤度スコアは、早期肺がん検出における臨床意思決定支援に十分に信頼できるか？

主な発見

• MNISTデータセットでは、VAEを用いた異常検出がAUROC 0.84を達成し、正常と異常サンプルの分離が良好であることが示された。
• MNISTにおけるGANベースのアプローチではAUROCが0.66にとどまり、性能が限定的で、ハイパーパramーターや訓練サンプル数に非常に敏感であった。
• NLST 3次元肺CTデータセットでは、GANベースのモデルがAUROC 0.58を達成し、ランダムな推測よりもわずかに優れているにとどまった。
• NLSTにおけるVAEベースのモデルはAUROC 0.62を達成し、ランダムよりは優れていたが、依然として臨床応用には不十分な分離能力を示した。
• NLSTにおいて両モデルとも、正常と異常サンプルの尤度分布が重複しており、高次元の医療画像空間における分離が不十分であることが示された。
• 実験的結果から、訓練データの増加により性能向上が見込まれるが、現在のモデルでは、CTスキャンにおける悪性結節の信頼できる検出には至っていない。