[논문 리뷰] Inflation of test accuracy due to data leakage in deep learning-based classification of OCT images

Iulian Emil Tampu, Anders Eklund외 1명|arXiv (Cornell University)|2022. 02. 21.

Retinal Imaging and Analysis참고 문헌 42인용 수 66

한 줄 요약

이 연구는 삼차원(OCT) 영상 분류를 위한 딥러닝에서 데이터 분할 방식이 잘못되었을 경우, 특히 2D 슬라이스 수준에서가 아니라 3D 볼륨 또는 환자 수준에서 분할하지 않을 경우 심각한 데이터 泄유(data leakage)가 발생하여 테스트 정확도가 최대 30% 상승(모레트스 상관계수(MCC) 0.07–0.43 증가)할 수 있음을 보여준다. 저자들은 겹치는 훈련 및 테스트 세트를 기반으로 학습한 모델이 일반화 성능을 과대평가함을 입증하며, 신뢰할 수 있는 평가를 위해 볼륨 또는 환자 수준의 분할 전략이 필수적임을 강조한다.

ABSTRACT

In the application of deep learning on optical coherence tomography (OCT) data, it is common to train classification networks using 2D images originating from volumetric data. Given the micrometer resolution of OCT systems, consecutive images are often very similar in both visible structures and noise. Thus, an inappropriate data split can result in overlap between the training and testing sets, with a large portion of the literature overlooking this aspect. In this study, the effect of improper dataset splitting on model evaluation is demonstrated for three classification tasks using three OCT open-access datasets extensively used, Kermany's and Srinivasan's ophthalmology datasets, and AIIMS breast tissue dataset. Results show that the classification performance is inflated by 0.07 up to 0.43 in terms of Matthews Correlation Coefficient (accuracy: 5% to 30%) for models tested on datasets with improper splitting, highlighting the considerable effect of dataset handling on model evaluation. This study intends to raise awareness on the importance of dataset splitting given the increased research interest in implementing deep learning on OCT data.

연구 동기 및 목표

• 딥러닝 기반 OCT 영상 분류에서 부적절한 데이터 분할 전략이 모델 평가에 미치는 영향을 조사하기 위해.
• 문헌에서 흔히 사용되는 이미지 수준의 분할 방식이 연속된 2D OCT 슬라이스 간 높은 유사성으로 인해 데이터 泄유를 유발함을 입증하기 위해.
• OCT 데이터셋에서 훈련 및 테스트 세트가 겹칠 경우 발생하는 테스트 정확도 및 MCC의 과대평가 정도를 정량화하기 위해.
• OCT 연구에서 편향 없는 모델 평가를 보장하기 위해 볼륨 또는 환자 수준의 분할 전략을 필수 기준으로 삼기 위해.

제안 방법

• 각각 이미지 수준과 볼륨/환자 수준의 전략을 적용하기 위해 맞춤형 데이터 분할 함수를 구현하였다.
• ReLU와 맥스 풀링을 포함한 얕은 두 개의 컨볼루션 레이어를 가진 CNN인 LightOCT 모델을 사용하였으며, 이후 소프트맥스 출력을 가지는 완전 연결 레이어가 이어졌다.
• 조기 정지 없이, 모멘텀(m=0.9)을 가진 확률적 경사 하강법을 사용하여 250 에포크 동안 모델을 처음부터 학습시켰으며, 학습률은 일정한 0.0001, 배치 크기는 64였다.
• 모든 분할에 걸쳐 결과의 신뢰성을 확보하기 위해 10회 반복된 5개의 교차 검증을 적용하였다.
• 각 클래스에 대해 매트릭스 상관 계수(MCC), 정확도, 정밀도, 재현율, F1 점수, AUC를 포함한 평가 지표를 계산하였다.
• 편향을 탐지하기 위해 10,000회 시뮬레이션을 수행한 랜덤 레이블 실험을 실시: 랜덤 레이블로 학습된 모델의 MCC를 겹침이 없는 조건에서 구축한 근무 분포(null distribution)와 비교하였으며, 일표본 wilcoxon 검정을 통해 p-값을 산출하였다.

실험 결과

연구 질문

• RQ1 OCT 영상 분류를 위한 딥러닝 모델에서 이미지 수준의 데이터 분할 방식이 테스트 정확도를 어느 정도 상승시키는가?
• RQ2 훈련 및 테스트 세트가 겹칠 경우 발생하는 데이터 泄유가 OCT 기반 분류 과제에서 매트릭스 상관 계수(MCC)에 어떤 영향을 미치는가?
• RQ3 적절한 볼륨 수준 분할 대비 겹치는 데이터 분할을 사용했을 경우 성능 과대평가의 정도는 어느 정도인가?
• RQ4 랜덤 레이블 실험은 모델 평가에서 데이터 泄유를 탐지할 수 있으며, 이러한 실험에서의 p-값은 겹침의 존재를 어떻게 반영하는가?

주요 결과

• 이미지 수준의 분할로 인한 데이터 泄유로 인해 세 개의 OCT 데이터셋에서 테스트 정확도가 5%에서 30%까지 상승하였으며, MCC는 0.07에서 0.43까지 증가하였다.
• Kermany의 OCT2017 버전 2 데이터셋에서는 테스트 이미지의 92%가 훈련 세트에 포함된 환자 ID를 공유하고 있어 상당한 겹침이 있음을 나타냈다.
• Kermany의 데이터셋에서 original_v3 분할은 환자 ID 겹침이 없었지만, original_v2 분할은 심각한 泄유가 있었으며, 이는 이전 연구에서 성능 향상의 원인을 설명한다.
• 랜덤 레이블 실험에서 겹치는 분할을 사용해 학습한 모델에서 통계적으로 유의미한 편향(p < 0.05)이 확인되어 데이터 泄유 효과가 확인되었다.
• 원래_v2 분할을 사용한 모델은 99.6%의 정확도를 기록했지만, 이는 데이터 泄유로 인해 과대평가된 것으로 보이며, 올바른 볼륨 수준 분할을 사용할 경우 더 신뢰할 수 있는 추정치를 얻을 수 있다.
• 저자들은 잘못된 분할 전략이 모델 일반화 평가를 약화시키며, 볼륨 또는 환자 수준의 분할 전략이 OCT 딥러닝 연구에서 타당한 평가를 보장하기 위해 필수적임을 결론 내렸다.