[논문 리뷰] CNN-based approach for glaucoma diagnosis using transfer learning and LBP-based data augmentation

Shishir Maheshwari, Vivek Kanhangad외 1명|arXiv (Cornell University)|2020. 02. 19.

Retinal Imaging and Analysis인용 수 13

한 줄 요약

이 논문은 전이 학습을 활용한 AlexNet과 망막 안저 영상에서의 LBP 기반 데이터 증강을 사용하는 CNN 기반의 녹내변 진단 시스템을 제안한다. R, G, B 채널에서의 LBP 특징을 활용해 훈련 데이터를 증강하고 결합 예측 전략을 사용함으로써, RIM-ONE 데이터셋에서 98.90%의 정확도, 100%의 민감도, 97.50%의 특이도를 달성하여 기존 방법들을 능가한다.

ABSTRACT

Glaucoma causes an irreversible damage to retinal nerve fibers which results in vision loss, if undetected in early stage. Therefore, diagnosis of glaucoma in its early stage may prevent further vision loss. In this paper, we propose a convolutional neural network (CNN) based approach for automated glaucoma diagnosis by employing retinal fundus images. This approach employs transfer learning technique and local binary pattern (LBP) based data augmentation. In the proposed approach, we employ Alexnet as a pre-trained CNN model which is used for transfer learning. Initially, the proposed approach divides the fundus image dataset into training and testing data. Further, the color fundus images in training and testing data are separated into red (R), green (G), and blue (B) channels. Additionally, the LBP-based data augmentation is performed on training data. Specifically, we compute LPBs for each of the channel. Finally, the augmented training data is used to train the CNN model via transfer learning. In testing stage, the R, G, and B channels of test image are fed to the trained CNN model which generates 3 decisions. We employ a decision level fusion technique to combine the decisions obtained from the trained CNN model. The experimental evaluation of the proposed approach on the public RIM-ONE fundus image database, achieves state-of-the-art performance for glaucoma diagnosis.

연구 동기 및 목표

• 대규모 스크리닝에서 임상의의 부담을 줄이기 위해 깊이 학습을 활용한 자동화되고 정확하며 효율적인 녹내변 진단 시스템을 개발하는 것.
• 수동적인 특징 추출에 의존하고 특징-분류기 조합에 민감한 전통적인 CAD 시스템의 한계를 해결하는 것.
• 작은 데이터셋에서의 일반화 능력을 향상시키고 과적합을 줄이기 위해 안저 영상 훈련 데이터에 LBP 기반 데이터 증강을 적용하는 것.
• 초기 학습에서부터 모델을 훈련시키지 않고 계산 비용을 절감하기 위해 사전 훈련된 AlexNet 모델을 활용한 전이 학습을 활용하는 것.

제안 방법

• 이 방법은 망막 안저 영상에 대해 이진 녹내변 분류를 위해 사전 훈련된 AlexNet 모델을 미세조정함으로써 전이 학습을 사용한다.
• 안저 영상가 훈련 및 테스트 세트로 나뉘며, 각 영상이 R, G, B 색상 채널으로 분리되어 처리된다.
• 훈련 세트에 대해 LBP 기반 데이터 증강이 적용되며, R, G, B 채널 각각에서 LBP 특징을 계산하여 훈련 데이터의 다양성을 증가시킨다.
• 증강된 훈련 데이터를 사용해 CNN 모델을 재학습하며, 최종 레이어는 이진 분류를 위해 조정된다.
• 추론 과정에서는 테스트 영상의 R, G, B 채널을 별도로 학습된 모델에 입력하여 세 개의 개별 예측을 생성한다.
• 결정 수준 융합 전략을 통해 세 예측을 융합하여 최종 진단을 도출함으로써 정확도와 견고성을 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 안저 영상 데이터로 사전 훈련된 CNN 모델을 사용한 전이 학습이 높은 진단 성능를 달성할 수 있는가?
• RQ2 LBP 기반 데이터 증강은 녹내변 진단에서 CNN 모델의 일반화 능력과 성능을 어떻게 향상시키는가?
• RQ3 색상 채널에서의 예측을 결합한 결정 수준 융합 전략이 단일 채널 또는 조기 융합 방법에 비해 분류 정확도를 향상시키는가?
• RQ4 학습된 CNN 표현에서 LBP 특징의 클래스 간 분리도는 비-LBP 특징에 비해 어떻게 비교되는가?

주요 결과

• 제안된 방법은 RIM-ONE 안저 영상 데이터베이스에서 98.90%의 정확도, 100%의 민감도, 97.50%의 특이도를 달성하여 기존 방법들을 능가했다.
• LBP 기반 데이터 증강은 t-SNE 특징 임베딩 시각화를 통해 더 나은 클래스 간 분리도를 보이며 모델의 일반화 능력 향상을 뚜렷이 입증했다.
• 제거 실험 결과, LBP 증강을 제거할 경우 성능이 떨어짐을 확인하여, 모델의 견고성 향상에 있어 LBP 증강의 핵심적 역할을 입증했다.
• AlexNet을 활용한 전이 학습은 학습 시간과 하드웨어 요구 사항을 줄였으며, 同시에 최신 기술 수준의 성능을 유지했다.
• t-SNE 시각화 결과, CNN 레이어에서 학습된 LBP 특징(특히 conv5, fc6, fc7에서)이 비-LBP 특징보다 더 강한 클래스 간 분리도를 보였다.
• R, G, B 채널 예측의 결정 수준 융합 전략은 개별 채널을 사용하는 것보다 뛰어난 성능을 보였다.