[논문 리뷰] A Critic Evaluation of Methods for COVID-19 Automatic Detection from X-Ray Images

Gianluca Maguolo, Loris Nanni|arXiv (Cornell University)|2020. 04. 27.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 논문은 흉부 X선 영상에서 자동 코로나19 검출을 위한 딥러닝 방법을 비판적으로 평가하며, 폐 영역이 제거된 경우에도 모델이 높은 정확도를 달성할 수 있음을 보여주어 질병과 무관한 허수 패턴을 학습하고 있음을 시사한다. 저자들은 테스트 프로토콜의 공정성 평가를 위한 메트릭을 제안하고, 데이터셋 편향으로 인해 현재 평가 방식이 근본적으로 잘못되어 있음을 입증한다.

ABSTRACT

In this paper, we compare and evaluate different testing protocols used for automatic COVID-19 diagnosis from X-Ray images in the recent literature. We show that similar results can be obtained using X-Ray images that do not contain most of the lungs. We are able to remove the lungs from the images by turning to black the center of the X-Ray scan and training our classifiers only on the outer part of the images. Hence, we deduce that several testing protocols for the recognition are not fair and that the neural networks are learning patterns in the dataset that are not correlated to the presence of COVID-19. Finally, we show that creating a fair testing protocol is a challenging task, and we provide a method to measure how fair a specific testing protocol is. In the future research we suggest to check the fairness of a testing protocol using our tools and we encourage researchers to look for better techniques than the ones that we propose.

연구 동기 및 목표

• X선 영상에서 코로나19 검출을 위한 딥러닝 모델에서 사용되는 현재 테스트 프로토콜의 타당성을 조사하기 위해.
• 모델이 데이터 내 질병 관련 특징을 학습하는지, 아니면 허수 패턴을 학습하는지 평가하기 위해.
• 입력 영상에서 폐 영역이 제거된 경우에도 모델이 높은 성능을 달성할 수 있음을 보여주기 위해.
• 의료 영상 분류에서 테스트 프로토콜의 공정성을 정량적으로 측정하는 방법을 제안하기 위해.
• 미래 연구가 더 엄격하고 편향 없는 평가 기준을 채택하도록 유도하기 위해.

제안 방법

• 저자들은 폐를 포함한 중심 영역을 마스킹하고 검은색으로 설정한 X선 영상에서 분류기를 훈련시었다.
• 기존 연구에서 사용된 동일한 훈련 및 테스트 프로토콜을 사용하여 표준 벤치마크 데이터셋에서 모델 성능을 평가했다.
• 폐 영역이 제거된 경우의 모델 성능을 기반으로 한 공정성 메트릭을 도입하여, 이러한 변형에 따른 성능 저하 정도를 측정했다.
• 이 방법은 모델이 해부학적 특징을 사용하는지, 아니면 폐 외부 영역을 사용하는지 평가한다.
• 다양한 기존 모델과 데이터셋에 이 메트릭을 적용하여 서로 다른 프로토콜 간의 공정성 비교를 수행했다.
• 통상적인 딥러닝 아키텍처(예: ResNet)와 표준 데이터 증강 기법을 사용하지만, 이미지 마스킹을 통제적으로 적용했다.

실험 결과

연구 질문

• RQ1 코로나19 검출을 위한 딥러닝 모델이 X선 영상에서 폐 영역이 완전히 제거된 경우에도 높은 정확도를 달성할 수 있는가?
• RQ2 기존 문헌에서의 테스트 프로토콜이 질병 특이적 패턴보다는 비폐 영역 특징에 얼마나 의존하는가?
• RQ3 의료 영상 분류에서 테스트 프로토콜의 공정성은 어떻게 정량적으로 측정할 수 있는가?
• RQ4 편향되거나 대표성이 없는 데이터를 사용할 경우 모델의 일반화 능력과 임상적 신뢰성에 어떤 영향을 미치는가?
• RQ5 연구자들은 모델이 진단에 관련된 특징을 학습하고 있는지, 아니면 데이터셋의 특수한 특징을 학습하고 있는지 어떻게 보장할 수 있는가?

주요 결과

• 폐 영역이 제거된 X선 영상에서 훈련된 모델조차도 높은 분류 정확도를 달성하여 비폐 영역 특징에 의존하고 있음을 시사한다.
• X선 영상의 중심 영역이 검게 처리된 경우에도 모델의 성능이 높게 유지되어, 모델이 폐 특이적 패턴을 학습하지 않는다는 것을 시사한다.
• 제안된 공정성 메트릭은 이미지 마스킹에 대해 취약한 테스트 프로토콜을 성공적으로 식별하여 현재 평가 방식의 편향을 드러낸다.
• 기존 문헌에 존재하는 여러 방법들이 높은 정확도를 보이는 것은 질병 탐지 덕분이 아니라 데이터셋 고유의 특징이나 비해부학적 패턴 때문임을 입증한다.
• 연구는 공정한 평가가 정확도를 넘어서 모델의 구조적 변형(예: 폐 제거)에 대한 강건성 검증이 필요하다는 것을 보여준다.
• 저자들은 현재 평가 프로토콜가 진정한 진단 능력을 평가하는 데 신뢰할 수 없다고 결론 내리며, 향후 연구에서 표준화된 공정성 평가를 도입할 것을 촉구한다.