[논문 리뷰] Learning to diagnose from scratch by exploiting dependencies among labels

Yao Li, Eric Poblenz외 4명|arXiv (Cornell University)|2017. 10. 28.

COVID-19 diagnosis using AI참고 문헌 21인용 수 195

한 줄 요약

이 논문은 DenseNet 인코더와 LSTM 기반 디코더를 사용하여 14개 이상 이상 소견 간의 의존성을 모델링하고, ImageNet 사전 학습 없이 처음부터 chest X-ray 진단 모델을 학습시켜 최첨단 결과를 달성한다.

ABSTRACT

The field of medical diagnostics contains a wealth of challenges which closely resemble classical machine learning problems; practical constraints, however, complicate the translation of these endpoints naively into classical architectures. Many tasks in radiology, for example, are largely problems of multi-label classification wherein medical images are interpreted to indicate multiple present or suspected pathologies. Clinical settings drive the necessity for high accuracy simultaneously across a multitude of pathological outcomes and greatly limit the utility of tools which consider only a subset. This issue is exacerbated by a general scarcity of training data and maximizes the need to extract clinically relevant features from available samples -- ideally without the use of pre-trained models which may carry forward undesirable biases from tangentially related tasks. We present and evaluate a partial solution to these constraints in using LSTMs to leverage interdependencies among target labels in predicting 14 pathologic patterns from chest x-rays and establish state of the art results on the largest publicly available chest x-ray dataset from the NIH without pre-training. Furthermore, we propose and discuss alternative evaluation metrics and their relevance in clinical practice.

연구 동기 및 목표

• 다수의 상관된 이상 소견을 가진 흉부 X-레이 다중 레이블 진단을 다룬다.
• 편향을 줄이고 임상 관련성을 높이기 위해 사전 학습에 의존하지 않는다.
• 레이블 간의 의존성을 활용하여 모든 목표에 대한 예측 성능을 향상시킨다.
• 전통적인 BLEU 유사 점수 외의 임상적으로 의미 있는 평가 지표를 소개한다.

제안 방법

• 고해상도 흉부 X-레이를 처리하기 위해 DenseNet과 유사한 밀집 연결 이미지 인코더를 사용한다.
• 라벨 의존성을 포착하기 위해 순환 신경망 디코더로 여러 이상 소견을 예측한다.
• 정의된 stop 토큰 없이 각 단계에서 존재/부재를 허용하도록 시그모이드 기반 디코딩을 적용한다.
• ImageNet 사전 학습 없이 처음부터 엔드 투 엔드로 학습한다.
• 의존성 인식 디코딩의 두 가지 변형을 실험하고 라벨 예측의 순서를 비교한다.

실험 결과

연구 질문

• RQ1 레이블 의존성 인식 디코더가 처음부터 학습된 흉부 X-ray 다중 레이블 진단을 개선할 수 있는가?
• RQ2 레이블 간 조건부 의존성을 포함하는 것이 예측 성능에 어떤 영향을 미치는가?
• RQ3 의존성 모델링에서 다른 라벨 순서가 충분한 학습 데이터가 있을 때 성능에 영향을 주는가?

주요 결과

• 독립 레이블로 처음부터 학습된 baseline 모델이 사전 학습된 최첨단 모델을 능가한다.
• 레이블 간 의존성 모델링이 여러 지표(NLL, DICE, PESS, PCSS)에서 개선을 가져온다.
• 모델이 잘 학습될 때 의존성의 순서 선택은 효과에 미미한 영향을 준다.
• 이 방법은 ChestX-ray8 데이터셋에서 이전 방법에 비해 이상 소견별 AUC가 더 높다.