[논문 리뷰] Caveats in Generating Medical Imaging Labels from Radiology Reports

Tobi Olatunji, Yao Li외 3명|arXiv (Cornell University)|2019. 05. 06.

COVID-19 diagnosis using AI참고 문헌 7인용 수 8

한 줄 요약

이 연구는 흉부 X선에 대한 방사선의학자들의 시각적 해석과 임상 보고서 사이에 심각한 괴리가 있음을 드러내며, 일반적으로 의료 AI를 훈련시키는 데 사용되는 보고서 기반 레이블이 임상적으로 행동이 필요한 발견이 아닌 요소들로 인해 상당한 노이즈를 포함하고 있음을 입증한다. 심지어 이러한 오류가 포함된 보고서로 훈련된 최첨단 NLP 모델이라도 이미지 확인 기반 발견의 55.6%에만 도달할 뿐이어서 모델의 신뢰성에 심각한 영향을 미치며, 의료 AI에서 더 나은 레이블링 파이프라인의 필요성을 강조한다.

ABSTRACT

Acquiring high-quality annotations in medical imaging is usually a costly process. Automatic label extraction with natural language processing (NLP) has emerged as a promising workaround to bypass the need of expert annotation. Despite the convenience, the limitation of such an approximation has not been carefully examined and is not well understood. With a challenging set of 1,000 chest X-ray studies and their corresponding radiology reports, we show that there exists a surprisingly large discrepancy between what radiologists visually perceive and what they clinically report. Furthermore, with inherently flawed report as ground truth, the state-of-the-art medical NLP fails to produce high-fidelity labels.

연구 동기 및 목표

• 흉부 X선에 대한 방사선의학자들의 시각적 해석과 임상 보고서 사이의 격차를 조사하기 위해.
• 보고서 자체에 오류가 포함되어 있을 경우 NLP 모델이 보고서에서 레이블을 추출하는 데의 신뢰도를 평가하기 위해.
• 특히 보고서에 자주 생략되는 행동이 불필요한 발견들로 인한 레이블링 격차의 근본 원인을 규명하기 위해.
• 보고서 기반 레이블이 본질적으로 오류가 많아, 이를 기반으로 훈련된 후속 AI 모델의 성능이 열악해짐을 입증하기 위해.
• 의료 AI 개발에서 방사선 보고서를 참조 기준으로 사용하는 것의 재고를 촉구하기 위해.

제안 방법

• 비스크리닝 흉부 X선 연구 1,000건과 해당 방사선 보고서로 구성된 데이터셋을 정제하였다.
• 전문 방사선의사 두 팀이 독립적으로 발견사항을 레이블링하였다: 하나는 이미지 검토에 기반한 것($y_{\text{img}}^{\text{rad}}$), 다른 하나는 보고서 검토에 기반한 것($y_{\text{txt}}^{\text{rad}}$).
• 최첨단 의료 NLP(Irvin 등, 2019)를 사용하여 보고서에서 레이블을 추출하였다($y_{\text{txt}}^{\text{nlp}}$).
• 정밀도, 재현율, F1 점수를 사용하여 이미지 기반 레이블과 보고서 기반 레이블 간의 일치도를 정량화하였다.
• 불일치 사례에 대한 실패 분석을 수행하여 원인을 행동이 불필요한 발견, 경계선/세부적인 발견,解剖학적 변형, 기술적 문제, 명백한 오류로 분류하였다.
• NLP로 추출된 레이블과 방사선의사가 보고한 레이블을 비교하여 실제 데이터 품질 제약 조건 하에서의 NLP 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 방사선의학자들이 흉부 X선을 시각적으로 해석하는 방식과 그들의 임상 보고서 사이에 얼마나 많은 격차가 존재하는가?
• RQ2 행동이 불필요한 발견들이 보고서의 레이블링 격차에 얼마나 기여하는가?
• RQ3 임상적으로 관련이 없거나 생략된 발견들이 포함된 보고서로 훈련된 최첨단 NLP 모델의 성능은 어느 정도인가?
• RQ4 보고서 기반 레이블링에서 주요 오류의 원인은 무엇이며, 이는 후속 AI 모델 성능에 어떻게 영향을 미치는가?
• RQ5 기본 참조 기준(방사선 보고서)이 시각적 발견과 본질적으로 일치하지 않을 경우, NLP 모델이 정확한 레이블을 신뢰성 있게 추출할 수 있는가?

주요 결과

• 전반적인 비정상성 카테고리에서 이미지 기반 레이블과 보고서 기반 레이블 간 일치도는 69%에 그쳤으며, 이는 모든 발견 중에서 가장 높은 수준이었다.
• 보고서 레이블을 기준 참조로 사용할 경우, NLP 모델이 이미지 확인 기반 발견의 55.6%에만 도달하여 상당한 성능 저하가 발생하고 있음을 나타냈다.
• 심장비대의 경우, NLP와 보고서 레이블 간 F1 점수는 0.23에 불과하여 보고서의 일관성 부족으로 인한 낮은 일치도를 반영하고 있었다.
• 24%의 보고서에서 연구를 정상으로 표기했지만, 이미지 검토 결과 이상이 발견되어 상당한 발견 누락이 있었음을 시사했다.
• 20%의 비정상으로 표기된 보고서는 영상상으로는 실제로 정상이었으며, 이는 과다 보고와 가짜 양성 결과를 나타냈다.
• 불일치의 주요 원인은 의료 기기, 만성 변화, 연령 관련 발견 등 행동이 불필요한 발견들이 보고서에 생략되는 데에 있었다.