[논문 리뷰] Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark

Parnian Afshar, Arash Mohammadi외 23명|arXiv (Cornell University)|2022. 01. 03.

Lung Cancer Diagnosis and Treatment인용 수 5

한 줄 요약

LOTUS 벤치마크는 CT 영상에서 폐 종양 세그멘테이션을 위한 표준화된 데이터셋과 평가 프레임워크를 도입하여 딥러닝 기반 방법의 공정한 비교를 가능하게 한다. 참가자들은 종양을 포함한 슬라이스에서 0.52에서 0.59 사이의 딱지 점수를 기록했으며, 마르코비안 팀이 뛰어난 세그멘테이션 정확도로 우승했지만, 여전히 잘못된 양성 결과는 주요 과제로 남아 있어 향후 개선이 필요하다.

ABSTRACT

Lung cancer is one of the deadliest cancers, and in part its effective diagnosis and treatment depend on the accurate delineation of the tumor. Human-centered segmentation, which is currently the most common approach, is subject to inter-observer variability, and is also time-consuming, considering the fact that only experts are capable of providing annotations. Automatic and semi-automatic tumor segmentation methods have recently shown promising results. However, as different researchers have validated their algorithms using various datasets and performance metrics, reliably evaluating these methods is still an open challenge. The goal of the Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark created through 2018 IEEE Video and Image Processing (VIP) Cup competition, is to provide a unique dataset and pre-defined metrics, so that different researchers can develop and evaluate their methods in a unified fashion. The 2018 VIP Cup started with a global engagement from 42 countries to access the competition data. At the registration stage, there were 129 members clustered into 28 teams from 10 countries, out of which 9 teams made it to the final stage and 6 teams successfully completed all the required tasks. In a nutshell, all the algorithms proposed during the competition, are based on deep learning models combined with a false positive reduction technique. Methods developed by the three finalists show promising results in tumor segmentation, however, more effort should be put into reducing the false positive rate. This competition manuscript presents an overview of the VIP-Cup challenge, along with the proposed algorithms and results.

연구 동기 및 목표

• CT 영상에서 폐 종양 세그멘테이션을 위한 표준화된 데이터셋과 평가 메트릭스의 부족 문제를 해결하기 위해.
• 전문가가 수작업으로 종양을 묘사하는 데 소요되는 시간과 관찰자 간 변동성을 줄이기 위해.
• 다양한 연구 그룹 간 자동 및 반자동 세그멘테이션 방법의 공정하고 재현 가능하며 비교 가능한 평가를 가능하게 하기 위해.
• 정확한 종양 세그멘테이션을 통해 조기 폐암 진단을 향상시키고, 레오미크스 및 치료 계획 수립을 지원하기 위해.
• 현재 딥러닝 기반 세그멘테이션 접근법의 주요 한계인 잘못된 양성 검출을 식별하고 완화하기 위해.

제안 방법

• 벤치마크는 2018년 IEEE VIP-Cup 경쟁을 통해 제작되었으며, 보정되고 완전한 애너테이션을 가진 NSCLC-Radiomics 데이터셋의 업데이트된 버전을 사용하였다.
• 참가자들은 주로 컨볼루션 신경망(CNN)을 사용한 딥러닝 모델을 적용하였고, 세그멘테이션 출력을 정제하기 위해 잘못된 양성 결과 감소와 같은 후처리 기법을 결합하였다.
• 사전 정의된 평가 프로토콜이 수립되어 성능 평가의 주요 메트릭스로 딱지 점수와 하우스도르프 거리를 사용하였다.
• 데이터셋에는 129명의 환자에서 애너테이션된 폐 농양이 포함되어 있으며, 세그멘테이션 평가는 종양을 포함한 슬라이스 단위로 수행되었다.
• 결과의 통계적 유의성은 윌코크슨 순위합 검정을 통해 평가되었으며, 팀 간 성능 차이가 유의미하다는 것이 확인되었다.
• 최종 순위는 세그멘테이션 정확도와 잘못된 양성 결과 통제 능력에 기반하여 결정되었으며, 우승 팀인 마르코비안 팀이 민감도와 특이도 사이의 최적의 균형을 달성했다.

실험 결과

연구 질문

• RQ1 어떻게 표준화된 벤치마크를 구축하여 CT 영상에서 폐 종양 세그멘테이션 방법의 공정하고 재현 가능한 평가를 가능하게 할 수 있는가?
• RQ2 딥러닝 기반 세그멘테이션 모델은 얼마나 높은 딱지 점수를 달성하면서도 잘못된 양성 검출을 최소화할 수 있는가?
• RQ3 현재 자동 세그멘테이션 방법의 주요 한계는 무엇이며, 특히 종양을 포함한 슬라이스를 식별하는 데서나 잘못된 양성 결과를 줄이는 데서 나타나는가?
• RQ4 오차가 낮은 양성 결과 감소와 같은 다양한 후처리 기법은 최종 세그멘테이션 정확도와 신뢰성에 어떤 영향을 미치는가?
• RQ5 통합된 데이터셋과 평가 프레임워크는 연구 그룹 간 폐 종양 세그멘테이션 분야의 일관성과 비교 가능성 향상에 기여할 수 있는가?

주요 결과

• 우승 팀인 마르코비안 팀은 통계적 검정을 통해 유의미하게 다른 팀들보다 높은 세그멘테이션 정확도를 기록했으며, 이는 p < 0.05로 확인되었다.
• 팀 간 세그멘테이션 성능는 종양을 포함한 슬라이스에서 딱지 점수 0.52에서 0.59 사이로 나타나 중간에서 양호한 정확도를 보였지만, 향상 여지가 있음을 시사했다.
• 잘못된 양성 결과 감소 기법을 적용하지 않은 NTU-MiRA 팀은 3위를 기록했으며, 이는 임상적 관련성을 높이기 위해 이 단계의 중요성을 강조한다.
• 실패 사례 분석을 통해 시각적으로 타당해 보이는 세그멘테이션이라도 잘못된 양성 결과일 수 있음을 확인했으며, 이는 더 나은 종양 탐지 메커니즘의 필요성을 암시한다.
• 통계 분석을 통해 모든 팀 간 성능 차이가 유의미하게 확인되었으며(p < 0.05), 벤치마크 평가 프로토콜의 강건성을 입증했다.
• LOTUS 벤치마크는 방법 간 표준화된 비교를 성공적으로 가능하게 하였으며, 의료 영상 분석 연구 분야에서 통합된 데이터셋과 메트릭스의 가치를 입증했다.