[論文レビュー] Prediction of breast cancer recurrence using Classification Restricted Boltzmann Machine with Dropping

Jakub M. Tomczak|arXiv (Cornell University)|Aug 28, 2013

AI in cancer detection参考文献 9被引用数 11

ひとこと要約

本論文は、乳がんの再発予測と関連临床的特徴の同定を目的として、分類制限ボルツマンマシン（ClassRBM）を学習するための新規確率的フレームワーク「Dropping」を提案する。DropPart—Beta分布を用いた接続マスクを用いるDropConnectの一般化—を導入し、実際の949例の症例データ（リュブリャーナがん研究所）を用いた実験で、DropConnectを上回り、DropOutと同等の結果を示した。

ABSTRACT

In this paper, we apply Classification Restricted Boltzmann Machine (ClassRBM) to the problem of predicting breast cancer recurrence. According to the Polish National Cancer Registry, in 2010 only, the breast cancer caused almost 25% of all diagnosed cases of cancer in Poland. We propose how to use ClassRBM for predicting breast cancer return and discovering relevant inputs (symptoms) in illness reappearance. Next, we outline a general probabilistic framework for learning Boltzmann machines with masks, which we refer to as Dropping. The fashion of generating masks leads to different learning methods, i.e., DropOut, DropConnect. We propose a new method called DropPart which is a generalization of DropConnect. In DropPart the Beta distribution instead of Bernoulli distribution in DropConnect is used. At the end, we carry out an experiment using real-life dataset consisting of 949 cases, provided by the Institute of Oncology Ljubljana.

研究の動機と目的

• 確率的接続マスクを用いたClassRBMの学習のための新規学習フレームワーク「Dropping」を開発すること。
• 実臨床データを用いて、ClassRBMを用いて乳がん再発を予測すること。
• 条件付き確率解析を通じて、疾患再発に関連する臨床的入力（症状）を同定すること。
• Beta分布を用いたマスクを用いるDropConnectの一般化であるDropPartを提案・評価すること。
• 分類精度と特徴の関連性の観点から、DropOut、DropConnect、およびDropPartの性能を比較すること。

提案手法

• 接続マスクを用いたボルツマンマシンの学習のための一般化確率的フレームワーク「Dropping」としての提案。
• 接続マスクがBeta分布（パラメータa, b ≤ 1）に従う「DropPart」の導入—これは、ベルヌーイ分布に基づくDropConnectの一般化である。
• 可視入力（臨床的特徴）、隠れユニット、出力クラス（再発あり／なし）の同時分布をモデル化するためにClassRBMを用いる。
• 予測には、エネルギーに基づくモデルから導かれる条件付き分布p(y|x)を用い、出力クラスにわたるソフトマックス正規化を実施する。
• 入力の重要度を特定するために、p(xi=1|x\i=0,y)を用い、他の入力が存在しない状況での再発予測に寄与する特徴を同定する。
• ミニバッチ更新を用いた確率的勾配降下法を実装し、学習における近似推論のためにマスクの和を用いる。

実験結果

リサーチクエスチョン

• RQ1 提案された「Dropping」フレームワークは、乳がん再発予測におけるClassRBMの汎化性能および予測性能を向上させることができるか？
• RQ2 Beta分布を用いたマスクを用いるDropPartは、ベルヌーイ分布マスクを用いるDropConnectおよびDropOutと比較して、分類精度において優れているか？
• RQ3 モデルの条件付き入力確率によって同定された臨床的特徴のうち、再発予測に最も関連するものは何か？
• RQ4 Dropping手法を用いたClassRBMは、SVM、ランダムフォレスト、および人間の腫瘍学者と比較して、予測精度において優れているか？
• RQ5 モデルは、腫瘍タイプやホルモン受容体レベルなど、生物学的に意味のある特徴を、再発予測の主要な予測因子として効果的に同定できるか？

主な発見

• すべての手法の中で、DropOutが最高の分類精度（0.750）を達成し、DropConnectおよびDropPartを上回った。
• Beta(0.1, 0.1)を用いたDropPartは、DropConnectと同等の性能を示したが、特に低い学習率での設定においてわずかに優れた結果を示した。
• DropPartを用いたClassRBMは、臨床的に関連する特徴を効果的に同定した：組織像的腫瘍タイプ（導管癌、小葉癌、その他）および低プロゲステロン受容体レベル（10 fmol/mg未満）は再発予測に強く関連していた。
• 腫瘍サイズが50 mmを超える（入力No. 5）は予測不能であったが、これは従来の仮定に反する可能性があり、臨床的検証を要する。
• モデルの予測性能（AUC 0.735～0.750）は、SVM（0.710）、ナイーブベイズ（0.730）、ランダムフォレスト（0.650）と同等または上回り、100例のサブセットにおいて2名の腫瘍学者（0.630および0.630）を上回った。
• 本手法は、入力特徴の条件付き重要度に基づいて定量的に順位付けを行う強力な解釈可能性を示し、再発予測要因に関する明確なインサイトを提供した。