[논문 리뷰] Artificial neural networks condensation: A strategy to facilitate adaption of machine learning in medical settings by reducing computational burden

Dianbo Liu, Nestor A. Sepulveda외 1명|arXiv (Cornell University)|2018. 12. 23.

Machine Learning in Healthcare참고 문헌 18인용 수 5

한 줄 요약

이 논문은 의료 AI에서 계산 부담을 줄이기 위해 프루닝, 아키텍처 수정(hLSTM), 그리고 양자화를 활용한 신경망 응집 전략을 제안한다. 이는 예측 정확도를 희생시키지 않은 채로 수행된다. MIMIC-III 데이터셋을 사용한 ICU 사망 예측에서 이 방법은 더 빠른 추론과 메모리 사용 감소를 달성하였으며, 일부 모델은 기준 모델보다 정확도가 높아지기도 하였다.

ABSTRACT

Machine Learning (ML) applications on healthcare can have a great impact on people's lives helping deliver better and timely treatment to those in need. At the same time, medical data is usually big and sparse requiring important computational resources. Although it might not be a problem for wide-adoption of ML tools in developed nations, availability of computational resource can very well be limited in third-world nations. This can prevent the less favored people from benefiting of the advancement in ML applications for healthcare. In this project we explored methods to increase computational efficiency of ML algorithms, in particular Artificial Neural Nets (NN), while not compromising the accuracy of the predicted results. We used in-hospital mortality prediction as our case analysis based on the MIMIC III publicly available dataset. We explored three methods on two different NN architectures. We reduced the size of recurrent neural net (RNN) and dense neural net (DNN) by applying pruning of "unused" neurons. Additionally, we modified the RNN structure by adding a hidden-layer to the LSTM cell allowing to use less recurrent layers for the model. Finally, we implemented quantization on DNN forcing the weights to be 8-bits instead of 32-bits. We found that all our methods increased computational efficiency without compromising accuracy and some of them even achieved higher accuracy than the pre-condensed baseline models.

연구 동기 및 목표

• 의료 분야의 기계학습에서 계산 부담을 줄이기, 특히 자원이 제한된 환경에서 수행하기 위해.
• 모델 압축에도 불구하고 임상 적용에서 신경망의 예측 정확도를 유지하거나 향상시키기 위해.
• 의료 시계열 데이터에 특화된 신경망 응집 기법—프루닝, 아키텍처 수정, 그리고 양자화를 탐색하고 구현하기 위해.
• 임상 환경에서 RNN 프루닝을 시도하고, 병원 내 사망 예측을 사례로 삼아 선구적 연구를 수행하기 위해.
• 세계 제3세계 국가에서 흔히 볼 수 있는 느린, 성능이 낮은 장치에 정확한 기계학습 모델을 배포할 수 있도록 하기 위해.

제안 방법

• 일회성 프루닝을 적용하여 순환 신경망(RNNs)과 밀집 신경망(DNNs)에서 '사용되지 않는' 뉴런을 제거하고, 가장 중요한 가중치만 유지하였다.
• LSTM 셀 내부에 은닉층을 추가함으로써 LSTM 아키텍처를 수정(hLSTM)하여 다중 스택된 LSTM 레이어의 필요성을 줄였다.
• DNN에 8비트 가중치 양자화를 구현하여 32비트 부동소수점 가중치를 대체함으로써 메모리 사용과 계산량을 감소시켰다.
• MIMIC-III 데이터셋을 사용하여 모델을 훈련하고 평가하였으며, 순차적인 임상 시계열 데이터를 기반으로 병원 내 사망을 예측 목표로 하였다.
• Keras를 사용하여 hLSTM 레이어를 구현하고, 조기 정지와 L2 정규화를 적용한 표준 훈련 절차를 사용하였다.
• AUC-ROC와 정확도와 같은 표준 지표를 사용하여 성능을 평가하였으며, 응집된 모델을 정밀도 기반 기준 모델과 비교하였다.

실험 결과

연구 질문

• RQ1 신경망 프루닝은 임상 시계열 예측에서 성능 저하 없이 RNN의 모델 크기와 추론 시간을 줄일 수 있는가?
• RQ2 LSTM 셀 내부에 딥 네트워크를 통합함으로써(hLSTM) 예측 정확도를 유지하거나 향상시키기 위해 더 적은 레이어로도 충분한가?
• RQ3 DNN 가중치를 8비트로 양자화하면 의료 예측 작업에서 메모리 사용과 계산량을 크게 줄일 수 있으며, 정확도 손실는 최소한으로 유지할 수 있는가?
• RQ4 이러한 응집 기법들이 함께 적용될 경우, 글로벌 헬스 환경에서 자원이 제한된 장치에 정확한 기계학습 모델을 얼마나 효과적으로 배포할 수 있는가?
• RQ5 RNN 프루닝은 임상 적용에서 실현 가능하고 효과적인가, 특히 병원 내 사망 예측에 있어서는 어떻게 되는가?

주요 결과

• 모든 응집 기법—프루닝, hLSTM, 그리고 양자화—는 예측 정확도를 훼손하지 않은 채 모델 크기와 계산 요구량을 크게 감소시켰다.
• hLSTM 모델은 기준 RNN(0.885)보다 높은 AUC-ROC(0.892)를 기록하여 아키텍처 단순화에도 불구하고 성능 향상을 보였다.
• 프루닝은 DNN의 파라미터 수를 최대 90%까지 감소시켰고, 정확도에 유의미한 하락이 없었으며, 이는 효과적인 파라미터 효율성을 보여주었다.
• 8비트 가중치 양자화로 메모리 사용량이 약 75% 감소하였고, 추론 속도가 빨라졌으며, 모델 성능에 미미한 영향을 미쳤다.
• 프루닝을 적용한 RNN 모델은 기준 모델과 유사한 AUC-ROC(0.883)를 유지하면서도 훈련 및 추론 시간을 줄였다.
• 이 연구는 신경망 응집이 임상 기계학습에서 실현 가능할 뿐 아니라 유익하다는 것을 입증하였으며, 정확도 손실 없이 저성능 하드웨어에 모델을 배포할 수 있도록 하였다.