[논문 리뷰] Prediction of breast cancer recurrence using Classification Restricted Boltzmann Machine with Dropping

Jakub M. Tomczak|arXiv (Cornell University)|2013. 08. 28.

AI in cancer detection참고 문헌 9인용 수 11

한 줄 요약

이 논문은 유방암 재발 예측 및 관련 임상적 특징 식별을 위한 새로운 확률적 프레임워크인 'Dropping'을 제안한다. 이는 베타분포를 사용한 연결 마스크를 활용하는 DropConnect의 일반화인 DropPart를 도입하여, 린지브라나의 종양학 연구소에서 확보한 949건의 실제 데이터셋에서 DropConnect보다 향상된 성능과 DropOut과 경쟁 가능한 결과를 보였다.

ABSTRACT

In this paper, we apply Classification Restricted Boltzmann Machine (ClassRBM) to the problem of predicting breast cancer recurrence. According to the Polish National Cancer Registry, in 2010 only, the breast cancer caused almost 25% of all diagnosed cases of cancer in Poland. We propose how to use ClassRBM for predicting breast cancer return and discovering relevant inputs (symptoms) in illness reappearance. Next, we outline a general probabilistic framework for learning Boltzmann machines with masks, which we refer to as Dropping. The fashion of generating masks leads to different learning methods, i.e., DropOut, DropConnect. We propose a new method called DropPart which is a generalization of DropConnect. In DropPart the Beta distribution instead of Bernoulli distribution in DropConnect is used. At the end, we carry out an experiment using real-life dataset consisting of 949 cases, provided by the Institute of Oncology Ljubljana.

연구 동기 및 목표

• 확률적 연결 마스크를 사용한 ClassRBM 학습을 위한 새로운 학습 프레임워크인 'Dropping'을 개발하는 것.
• 실제 임상 데이터를 활용하여 ClassRBM을 사용해 유방암 재발을 예측하는 것.
• 조건부 확률 분석을 통해 질병 재발과 관련된 임상적 의미 있는 입력(증상)을 발견하는 것.
• 베타분포 마스크를 사용한 DropConnect의 일반화인 DropPart를 제안하고 평가하는 것.
• 분류 정확도 및 특징 유의성 측면에서 DropOut, DropConnect, DropPart의 성능을 비교하는 것.

제안 방법

• 연결 마스크를 사용한 볼츠만 기반 모델 학습을 위한 일반적인 확률적 프레임워크인 'Dropping'을 제안한다.
• 연결 마스크가 베타분포(모수 a, b ≤ 1)에서 추출되는 DropPart를 도입하여 베르누이 기반 DropConnect를 일반화한다.
• 유계 입력(임상적 특징), 은닉 유닛, 출력 클래스(재발 또는 재발 없음)의 결합 분포를 모델링하기 위해 ClassRBM을 사용한다.
• 예측을 위해 에너지 기반 모델에서 유도된 정규화된 소프트맥스를 활용한 조건부 분포 p(y|x)를 활용한다.
• 입력 유의성은 p(xi=1|x\i=0,y)를 통해 계산되며, 다른 입력이 존재하지 않을 때 재발 예측에 가장 기여하는 특징을 식별한다.
• 미니배치 업데이트를 사용한 확률적 경사 하강법을 구현하고, 훈련 중 근사 추론을 위해 마스크의 합을 사용한다.

실험 결과

연구 질문

• RQ1 제안된 'Dropping' 프레임워크는 ClassRBM의 일반화 및 예측 성능 향상에 기여하는가?
• RQ2 베타분포 마스크를 사용하는 DropPart는 베르누이 마스크를 사용하는 DropConnect와 비교해 분류 정확도에서 어떻게 성능을 내는가?
• RQ3 조건부 입력 확률을 통해 모델이 식별한 가장 관련성이 높은 임상적 특징은 무엇인가?
• RQ4 Dropping 기법을 적용한 ClassRBM은 전통적 모델인 SVM, 랜덤 포레스트 및 인간 종양학자보다 예측 정확도에서 뛰어나게 성능을 내는가?
• RQ5 모델은 종양 유형이나 호르몬 수용체 수치와 같은 생물학적으로 의미 있는 특징을 재발 예측의 주요 예측 변수로 효과적으로 식별할 수 있는가?

주요 결과

• 모든 테스트된 방법 중에서 DropOut이 가장 높은 분류 정확도(0.750)를 기록하여 DropConnect와 DropPart를 모두 앞섰다.
• Beta(0.1, 0.1)를 사용한 DropPart는 DropConnect와 유사한 성능를 보였으며, 특히 낮은 학습률 설정에서 약간 더 우수한 결과를 보였다.
• DropPart를 적용한 ClassRBM은 임상적으로 의미 있는 특징을 성공적으로 식별하였다: 조직형태(유두암, 낭포성, 기타) 및 낮은 프로게스테론 수용체 수치(<10 fmol/mg)는 재발 예측에 매우 중요한 요소로 확인되었다.
• 종양 크기 >50 mm(입력 번호 5)는 예측에 기여하지 않아 기존의 임상적 가정에 도전할 수 있으며, 임상적 검증이 필요할 것으로 보인다.
• 모델의 예측 성능(AUC 0.735–0.750)은 SVM(0.710), 나이브 베이즈(0.730), 랜덤 포레스트(0.650)와 비교해 경쟁력 있거나 뛰어나며, 100건의 케이스 서브셋에서 인간 종양학자 두 명(각각 0.630, 0.630)을 초월하였다.
• 조건부 유의성 기반으로 입력 특징을 정량적으로 순위 매김함으로써 설명 가능성을 높였으며, 재발 예측 요인에 대한 해석 가능한 통찰을 제공하였다.