[논문 리뷰] Classification of Quantitative Light-Induced Fluorescence Images Using Convolutional Neural Network

Sultan Imangaliyev, M.H. van der Veen외 5명|arXiv (Cornell University)|2017. 05. 25.

Dental Radiography and Imaging참고 문헌 1인용 수 12

한 줄 요약

이 연구는 치료 플라즈마 수준을 평가하기 위해 정량적 빛 유도 형광(QLF) 영상을 자동으로 분류하기 위한 합성곱 신경망(CNN)을 제안한다. 다중 채널 RGB 영상 데이터를 활용하여, 수작업 특징을 사용하지 않고 공간적 특징을 엔드 투 엔드로 학습함으로써, 전통적인 얕은 모델보다 세 가지 임상 평가 체계에서 플라즈마 심각도를 더 잘 예측하고 일반화 능력과 영상 변동성에 대한 강건성을 확보한다.

ABSTRACT

Images are an important data source for diagnosis and treatment of oral diseases. The manual classification of images may lead to misdiagnosis or mistreatment due to subjective errors. In this paper an image classification model based on Convolutional Neural Network is applied to Quantitative Light-induced Fluorescence images. The deep neural network outperforms other state of the art shallow classification models in predicting labels derived from three different dental plaque assessment scores. The model directly benefits from multi-channel representation of the images resulting in improved performance when, besides the Red colour channel, additional Green and Blue colour channels are used.

연구 동기 및 목표

• 수동적 수작업 평가에 의존하는 것을 줄이고, 치료 플라즈마 수준을 평가하기 위한 자동화된 딥 러닝 기반의 QLF 영상 분류 시스템을 개발한다.
• 임상 연구에서 확보한 QLF 영상에 대해 최신의 얕은 분류 모델(예: SVM, 로지스틱 회귀)과 비교하여 CNN의 성능을 평가한다.
• 플라즈마 탐지에 생물학적으로 관련성이 있는 빨간색 형광을 감안할 때, 다양한 색채널(Red, Red+Green, RGB)을 사용할 경우 분류 성능에 미치는 영향을 조사한다.
• 엔드 투 엔드로 공간적 특징을 학습함으로써 CNN이 초점, 각도, 조도와 같은 실제 영상 변형에 대해 일반화 능력과 강건성을 향상시킨다는 것을 입증한다.

제안 방법

• 딥 리서지드 신경망(ResNet) 아키텍처를 사용하여, QLF 영상의 원시 픽셀 강도에서 계층적인 공간적 특징을 추출하기 위해 이산 컨볼루션 연산을 적용하였다.
• 모델은 427장의 QLF 영상(각각 216×324 픽셀 해상도)을 사용하여 GPU에서 Theano 딥 러닝 프레임워크를 기반으로 훈련되었다.
• 세 가지 영상 표현 방식(빨간색 단일, 빨간색+초록색, 전체 RGB)을 테스트하여 다중 채널 입력이 분류 정확도에 미치는 영향을 평가하였다.
• CNN은 로지스틱 회귀, 가우시안 커널을 사용한 서포트 벡터 머신, 기울기 부스팅 분류기 등과 같은 얕은 모델들과 비교되었으며, 모든 모델은 Scikit-learn 라이브러리를 사용해 훈련 및 평가되었다.
• 클래스 레이블은 세 가지 기존의 플라즈마 평가 점수에서 유도되었다: 레드 플루오레스센스 플라즈마 백분율(RF-PP), 레드 플루오레스센스 수정 쿠이글리-헤인(RF-mQH), 수정 실리스-로에 플라즈마(mSLP).
• 모델 성능은 훈련 및 테스트 정확도를 사용하여 평가되었으며, 특히 이미징 조건이 변할 경우의 과적합과 일반화 능력에 주의를 기울였다.

실험 결과

연구 질문

• RQ1 합성곱 신경망은 기존의 얕은 기계 학습 모델보다 QLF 영상 분류에서 치과 플라즈마 평가에 더 우수한 성능을 보일 수 있는가?
• RQ2 빨간색, 초록색, 파란색 등의 다중 색채널을 포함할 경우, 딥 러닝 모델의 QLF 영상 분류 성능에 어떤 영향을 미치는가?
• RQ3 공간적 관계를 명시적으로 모델링하지 않는 모델과 비교해, CNN 모델은 초점, 각도, 조도의 변화가 있는 새로운 QLF 영상에 얼마나 잘 일반화되는가?
• RQ4 원시 픽셀 강도에서 특징을 엔드 투 엔드로 학습함으로써, 이전 QLF 분석에서 흔히 사용되는 수작업 특징 비율(예: 빨간색/초록색 강도 비율)이 더 이상 필요하지 않은가?
• RQ5 각 색채널이 분류 작업에 기여하는 바는 무엇이며, 이는 플라즈마 형광의 생물학적 특성과 어떻게 관련이 있는가?

주요 결과

• 모든 세 가지 플라즈마 평가 체계(RF-PP, RF-mQH, mSLP)에서 CNN 모델은 SVM, 로지스틱 회귀, 기울기 부스팅 등 모든 얕은 모델보다 유의미하게 높은 분류 정확도를 달성하였다.
• 빨간색 채널 외에 초록색 및 파란색 채널을 추가로 사용할 경우 성능 향상이 있었으며, 특히 전체 RGB 입력을 사용했을 때 가장 뚜렷한 성능 향상이 관찰되어, 다중 채널 표현이 특징 학습을 향상시킨다는 것을 시사한다.
• 다중 채널 입력을 사용할 경우 훈련 성능의 표준편차가 좁아졌으며, 이는 빨간색 채널만 사용할 경우에 비해 모델의 안정성이 높고 과적합이 줄어든다는 것을 의미한다.
• 컨볼루션 연산을 통해 공간적으로 불변 특징을 학습할 수 있기 때문에, 초점 거리, 회전, 조도의 차이와 같은 영상 변형에 대해 CNN 모델이 강건성을 보였다.
• 이전 QLF 연구에서 흔히 사용되는 빨간색/초록색 강도 비율을 수작업으로 계산할 필요 없이도 성능이 뛰어나, 엔드 투 엔드 특징 학습이 더 효과적이고 수치적으로 안정적임을 시사한다.
• 결과는 초록색 채널이 플라즈마와 잇몸을 구분하는 데 기여하며, 파란색 채널이 특히 저플라즈마 영역에서 윤곽선 정의에 기여하여 모델의 분류 능력을 향상시킨다는 것을 시사한다.