[논문 리뷰] QReLU and m-QReLU: Two novel quantum activation functions to aid medical diagnostics

Luca Parisi, Daniel Neagu외 2명|arXiv (Cornell University)|2020. 10. 15.

COVID-19 diagnosis using AI참고 문헌 52인용 수 13

한 줄 요약

이 논문은 딥러닝에서의 죽음하는 ReLU 문제를 극복하기 위해 고안된 QReLU와 m-QReLU라는 두 가지 새로운 양자 힌트 활성화 함수를 제안한다. 고전적 딥러닝 아키텍처 내에서 양자 원리인 중첩과 얽힘을 활용함으로써, 저자들은 의료 영상 데이터셋을 사용한 코로나19 및 파킨슨병 진단에서 표준 ReLU 변형보다 높은 분류 정확도, 정밀도, 재현율 및 F1 점수를 달성함을 입증한다.

ABSTRACT

The ReLU activation function (AF) has been extensively applied in deep neural networks, in particular Convolutional Neural Networks (CNN), for image classification despite its unresolved dying ReLU problem, which poses challenges to reliable applications. This issue has obvious important implications for critical applications, such as those in healthcare. Recent approaches are just proposing variations of the activation function within the same unresolved dying ReLU challenge. This contribution reports a different research direction by investigating the development of an innovative quantum approach to the ReLU AF that avoids the dying ReLU problem by disruptive design. The Leaky ReLU was leveraged as a baseline on which the two quantum principles of entanglement and superposition were applied to derive the proposed Quantum ReLU (QReLU) and the modified-QReLU (m-QReLU) activation functions. Both QReLU and m-QReLU are implemented and made freely available in TensorFlow and Keras. This original approach is effective and validated extensively in case studies that facilitate the detection of COVID-19 and Parkinson Disease (PD) from medical images. The two novel AFs were evaluated in a two-layered CNN against nine ReLU-based AFs on seven benchmark datasets, including images of spiral drawings taken via graphic tablets from patients with Parkinson Disease and healthy subjects, and point-of-care ultrasound images on the lungs of patients with COVID-19, those with pneumonia and healthy controls. Despite a higher computational cost, results indicated an overall higher classification accuracy, precision, recall and F1-score brought about by either quantum AFs on five of the seven bench-mark datasets, thus demonstrating its potential to be the new benchmark or gold standard AF in CNNs and aid image classification tasks involved in critical applications, such as medical diagnoses of COVID-19 and PD.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 지속적인 죽음하는 ReLU 문제를 해결함으로써, 특히 중요한 의료 진단 응용 분야에서의 영향을 최소화하고자 한다.
• ReLU의 점진적 수정을 넘어서, 혁신적인 양자 힌트 설계 접근법을 탐색함으로써 활성화 함수를 새롭게 설계하고자 한다.
• 고전적 딥러닝 아키텍처 내에서 중첩과 얽힘과 같은 양자 원리를 통합한 새로운 활성화 함수를 개발하고 검증하고자 한다.
• 실제 의료 영상 데이터셋을 기반으로 제안된 함수의 성능을 평가하여, 코로나19 및 파킨슨병과 같은 질병의 조기 진단에서의 진단 성능 향상을 도모하고자 한다.
• QReLU와 m-QReLU가 고위험 의료 영상 분류 작업을 위한 컨volution 네트워크에서 새로운 벤치마크로 자리매김할 수 있도록 하고자 한다.

제안 방법

• 저자들은 기초로 Leaky ReLU 활성화 함수를 사용하여, 중첩과 얽힘과 같은 양자 원리를 적용함으로써 QReLU와 m-QReLU를 유도한다.
• 양자 힌트 설계는 양자 행동을 시뮬레이션하는 확률적 상태 전이를 통합함으로써, 고전적 ReLU 변형보다 풍부한 표현 능력을 제공한다.
• 함수들은 Tensorflow와 Keras에 구현되어 있어, 양자 하드웨어가 없더라도 표준 딥러닝 파ip라인에 쉽게 통합될 수 있다.
• 평가를 위해 이중층 컨볼루션 신경망 아키텍처를 사용하며, 활성화 함수는 완전 연결층과 컨볼루션층에 적용된다.
• 제어된 매개변수화를 통해 양자 상태 진화를 시뮬레이션하며, m-QReLU는 안정성을 향상시키기 위해 수정된 스케일링 메커니즘을 도입한다.
• 모델들은 산개도면 환자와 코로나19, 폐렴, 건강한 대조군의 현장에서 촬영한 폐 초음파 영상 포함 총 일곱 개의 벤치마크 데이터셋에서 학습 및 평가된다.

실험 결과

연구 질문

• RQ1 양자 힌트 활성화 함수는 딥 뉴럴 네트워크에서 죽음하는 ReLU 문제를 효과적으로 완화할 수 있는가?
• RQ2 의료 영상 분류 작업에서 QReLU와 m-QReLU는 아홉 가지 표준 ReLU 기반 활성화 함수와 비교해 어떻게 성능을 내는가?
• RQ3 중첩과 얽힘과 같은 양자 원리를 고전적 활성화 함수에 통합하면 진단 정확도 향상에 측정 가능한 영향을 미치는가?
• RQ4 특히 코로나19 및 파킨슨병 진단에 있어, 이러한 새로운 활성화 함수가 어떤 의료 영상 시나리오에서 뛰어난 성능을 보이는가?
• RQ5 QReLU와 m-QReLU는 중요한 의료 진단 응용 분야에서 활성화 함수의 새로운 기준 또는 황금 표준이 될 수 있는가?

주요 결과

• QReLU와 m-QReLU는 일곱 개의 벤치마크 데이터셋 중 다섯 개에서 아홉 가지 ReLU 기반 활성화 함수보다 높은 분류 정확도를 달성했다.
• 제안된 함수들은 여러 의료 영상 작업에서 정밀도, 재현율 및 F1 점수 향상을 보였으며, 특히 산개도면 데이터를 이용한 파킨슨병 진단에서 두드러진 성능 향상을 보였다.
• 코로나19 진단을 위한 현장에서 촬영한 폐 초음파 영상에서, QReLU와 m-QReLU는 F1 점수와 총 분류 정확도 측면에서 표준 ReLU 변형보다 뛰어난 성능을 보였다.
• 더 높은 계산 비용에도 불구하고, 양자 힌트 활성화 함수는 복잡한 실세계 의료 영상 데이터에서 일관되게 뛰어난 성능을 보였다.
• 결과적으로 QReLU와 m-QReLU는 의료 영상 분류 분야에서 새로운 벤치마크로 자리매김할 수 있는 유력한 후보임을 시사한다.
• TensorFlow와 Keras에 구현된 오픈소스 구현은 양자 힌트 딥러닝 연구의 광범위한 도입과 후속 연구를 가능하게 한다.