[論文レビュー] QReLU and m-QReLU: Two novel quantum activation functions to aid medical diagnostics

Luca Parisi, Daniel Neagu+2 more|arXiv (Cornell University)|Oct 15, 2020

COVID-19 diagnosis using AI参考文献 52被引用数 13

ひとこと要約

本稿では、深層学習における死滅ReLU問題を克服するために、QReLUおよびm-QReLUの2つの新規な量子インスパイア型活性化関数を提案する。量子の重ね合わせやもつれといった原理を古典的深層学習フレームワーク内に統合することで、著者らは、COVID-19およびパーキンソン病の診断を目的とした医用画像データセットにおいて、標準的なReLU変種よりも高い分類精度、適合率、再現率、F1スコアを達成することを実証した。

ABSTRACT

The ReLU activation function (AF) has been extensively applied in deep neural networks, in particular Convolutional Neural Networks (CNN), for image classification despite its unresolved dying ReLU problem, which poses challenges to reliable applications. This issue has obvious important implications for critical applications, such as those in healthcare. Recent approaches are just proposing variations of the activation function within the same unresolved dying ReLU challenge. This contribution reports a different research direction by investigating the development of an innovative quantum approach to the ReLU AF that avoids the dying ReLU problem by disruptive design. The Leaky ReLU was leveraged as a baseline on which the two quantum principles of entanglement and superposition were applied to derive the proposed Quantum ReLU (QReLU) and the modified-QReLU (m-QReLU) activation functions. Both QReLU and m-QReLU are implemented and made freely available in TensorFlow and Keras. This original approach is effective and validated extensively in case studies that facilitate the detection of COVID-19 and Parkinson Disease (PD) from medical images. The two novel AFs were evaluated in a two-layered CNN against nine ReLU-based AFs on seven benchmark datasets, including images of spiral drawings taken via graphic tablets from patients with Parkinson Disease and healthy subjects, and point-of-care ultrasound images on the lungs of patients with COVID-19, those with pneumonia and healthy controls. Despite a higher computational cost, results indicated an overall higher classification accuracy, precision, recall and F1-score brought about by either quantum AFs on five of the seven bench-mark datasets, thus demonstrating its potential to be the new benchmark or gold standard AF in CNNs and aid image classification tasks involved in critical applications, such as medical diagnoses of COVID-19 and PD.

研究の動機と目的

• 深層ニューラルネットワークにおける継続的な死滅ReLU問題、特に重要な医療診断応用分野における問題を解決すること。
• ReLUの微小な改良を超えた、画期的な量子インスパイア型設計アプローチを活性化関数に適用すること。
• 重ね合わせやもつれといった量子原理を古典的深層学習アーキテクチャに統合した、新しい活性化関数の開発と検証すること。
• 提案手法の性能を、COVID-19およびパーキンソン病の早期発見を目的とした実世界の医用画像データセット上で評価し、診断性能の向上を図ること。
• QReLUおよびm-QReLUが、高リスクの医療画像分類タスクにおける畳み込みニューラルネットワークの新たなベンチマークとして確立されること。

提案手法

• 著者らは、Leaky ReLU活性化関数をベースラインとして、量子の重ね合わせともつれの原理を適用することで、QReLUおよびm-QReLUを導出する。
• 量子インスパイア型設計は、量子挙動を模倣する確率的状態遷移を埋め込み、古典的ReLU変種よりも豊かな表現能力を実現する。
• TensorFlowおよびKerasを用いて実装されており、量子ハードウェアを必要とせず、標準的な深層学習パイプラインへの統合が可能である。
• 評価には2層構造のCNNを用い、活性化関数を全結合層および畳み込み層に適用する。
• 量子状態の進化を模倣するための制御されたパrameterizationを導入し、m-QReLUは安定性を向上させるために変更されたスケーリング機構を導入している。
• モデルは、パーキンソン病患者のスパイラル図、COVID-19、肺炎、健常者からのポoin-of-care肺超音波画像を含む7つのベンチマークデータセットで訓練および評価された。

実験結果

リサーチクエスチョン

• RQ1 量子インスパイア型活性化関数は、深層ニューラルネットワークにおける死滅ReLU問題を効果的に緩和できるか？
• RQ2 QReLUおよびm-QReLUは、医用画像分類タスクにおいて9種類の標準的ReLUベースの活性化関数と比較して、どのように性能を発揮するか？
• RQ3 重ね合わせやもつれといった量子原理を古典的活性化関数に統合することで、診断精度に測定可能な向上が得られるか？
• RQ4 具体的にCOVID-19およびパーキンソン病の医用画像分野において、これらの新規な活性化関数が優れた性能を示すシナリオは何か？
• RQ5 QReLUおよびm-QReLUは、重要な医療診断応用分野における活性化関数の新たなベンチマークまたはゴールドスタンダードとして機能できるか？

主な発見

• QReLUおよびm-QReLUは、7つのベンチマークデータセットのうち5つにおいて、全9種類のReLUベースの活性化関数よりも高い分類精度を達成した。
• 提案手法は、特にスパイラル図データからのパーキンソン病の検出において、複数の医用画像タスクで適合率、再現率、F1スコアの向上を示した。
• COVID-19の検出を目的としたポイン・オブ・ケア肺超音波画像において、QReLUおよびm-QReLUはF1スコアおよび全体の精度の面で、標準的なReLU変種を上回った。
• 計算コストが高めであるものの、量子インスパイア型活性化関数は、複雑な実世界の医用画像データに対して一貫して優れた性能を発揮した。
• 結果から、QReLUおよびm-QReLUは、医療画像分類における活性化関数の新たなベンチマークとして実用的である可能性があると示唆された。
• TensorFlowおよびKerasにおける実装のオープンソース化により、医療分野における量子インスパイア型深層学習の広範な採用とさらなる研究が促進される。