[論文レビュー] Artificial neural networks condensation: A strategy to facilitate adaption of machine learning in medical settings by reducing computational burden

Dianbo Liu, Nestor A. Sepulveda+1 more|arXiv (Cornell University)|Dec 23, 2018

Machine Learning in Healthcare参考文献 18被引用数 5

ひとこと要約

本稿では、医用AIにおける計算負荷を軽減するため、 pruning（プルーニング）、アーキテクチャの変更（hLSTM）、量子化を組み合わせたニューラルネットワークの凝縮戦略を提案する。MIMIC-IIIデータセットを用いたICU死亡予測において、予測精度を損なわず、推論速度の向上とメモリ使用量の削減を達成しており、一部のモデルではベースライン精度を上回っている。

ABSTRACT

Machine Learning (ML) applications on healthcare can have a great impact on people's lives helping deliver better and timely treatment to those in need. At the same time, medical data is usually big and sparse requiring important computational resources. Although it might not be a problem for wide-adoption of ML tools in developed nations, availability of computational resource can very well be limited in third-world nations. This can prevent the less favored people from benefiting of the advancement in ML applications for healthcare. In this project we explored methods to increase computational efficiency of ML algorithms, in particular Artificial Neural Nets (NN), while not compromising the accuracy of the predicted results. We used in-hospital mortality prediction as our case analysis based on the MIMIC III publicly available dataset. We explored three methods on two different NN architectures. We reduced the size of recurrent neural net (RNN) and dense neural net (DNN) by applying pruning of "unused" neurons. Additionally, we modified the RNN structure by adding a hidden-layer to the LSTM cell allowing to use less recurrent layers for the model. Finally, we implemented quantization on DNN forcing the weights to be 8-bits instead of 32-bits. We found that all our methods increased computational efficiency without compromising accuracy and some of them even achieved higher accuracy than the pre-condensed baseline models.

研究の動機と目的

• 医療分野における機械学習の計算負荷を軽減すること、特に低リソース環境を想定すること。
• モデル圧縮の影響を受けても、臨床応用におけるニューラルネットワークの予測精度を維持または向上させること。
• 医療時系列データに特化して、ニューラルネットワークの凝縮技術（プルーニング、アーキテクチャの変更、量子化）を検討および実装すること。
• in-hospital死亡予測をテストケースとして、臨床環境におけるRNNのプルーニングを実施する画期的な試みを行うこと。
• 第三世界諸国に一般的に見られる低性能なデバイスでも、正確なMLモデルをデプロイ可能にするために、その実現を図ること。

提案手法

• 一回のプルーニングを適用し、再帰的ニューラルネットワーク（RNN）および密接続ニューラルネットワーク（DNN）の「未使用」ニューロンを削除し、最も重要な重みのみを保持する。
• LSTMアーキテクチャを変更し、LSTMセル内に隠れ層を追加することで（hLSTM）、複数のスタックされたLSTM層の必要性を低減する。
• DNNに対して8ビット重み量子化を実装し、32ビット浮動小数点重みを置き換えることで、メモリ使用量と計算量を削減する。
• MIMIC-IIIデータセットを用い、逐次的な臨床時系列データを用いて、入院中の死亡を予測ターゲットとしてモデルを訓練および評価する。
• Kerasを用いてhLSTM層を実装し、早期ストップとL2正則化を用いた標準的なトレーニング手順を適用する。
• AUC-ROCや精度といった標準的な指標を用いて性能を評価し、凝縮モデルを高精度ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 臨床時系列予測において、ニューラルネットワークのプルーニングは、性能を劣化させることなく、モデルサイズと推論時間を削減できるか？
• RQ2 LSTMセル内にディープニューラルネットワークを統合することで（hLSTM）、予測精度を維持または向上させながら、層の数を減らすことができるか？
• RQ3 DNNの重みを8ビットに量子化することで、医療予測タスクにおいてメモリ使用量と計算量を著しく削減し、精度の損失を最小限に抑えることができるか？
• RQ4 これらの凝縮技術を統合することで、グローバルヘルス環境における低リソースデバイスに正確なMLモデルをデプロイできるまでの範囲はどの程度か？
• RQ5 RNNのプルーニングは、特に入院中の死亡予測において、臨床応用で実行可能で効果的であるか？

主な発見

• プルーニング、hLSTM、量子化のすべての凝縮技術が、予測精度に影響を与えることなく、モデルサイズと計算要件を顕著に削減した。
• hLSTMモデルはベースラインRNN（AUC-ROC 0.885）よりも高いAUC-ROC（0.892）を達成しており、構造の単純化にもかかわらず性能が向上していることを示している。
• プルーニングにより、DNNのパラメータ数が最大90％まで削減され、精度に顕著な低下が見られなかったため、効果的なパラメータ効率が実証された。
• 8ビットへの量子化により、メモリ使用量が約75％削減され、推論速度が向上したが、モデル性能への影響は最小限に抑えられた。
• プルーニングを施したRNNモデルは、AUC-ROCが0.883を維持し、ベースラインと同等の性能を示した一方で、トレーニングおよび推論時間の短縮が達成された。
• 本研究では、ニューラルネットワークの凝縮が、臨床用MLにおいて単に実現可能であるのではなく、精度を損なわず、低性能ハードウェアへのデプロイを可能にするという利点があることが示された。