[논문 리뷰] Learning to Read Chest X-Rays: Recurrent Neural Cascade Model for Automated Image Annotation

Hoo-Chang Shin, Kirk Roberts외 4명|arXiv (Cornell University)|2016. 03. 28.

Multimodal Machine Learning Applications참고 문헌 55인용 수 33

한 줄 요약

이 논문은 병변의 위치, 중증도, 영향을 받는 기관을 기술하는 데 있어 이미지 및 텍스트 컨텍스트를 함께 학습함으로써 자동 흉부 X선 영상 주석을 향상시키는 순환 신경망 캐스케이드 모델을 제안한다. RNN이 생성한 컨텍스트 기반 설명을 사용해 질병 레이블을 반복적으로 개선하고, 이러한 풍부한 레이블로 CNN을 재학습시킴으로써 캡션 생성 품질이 크게 향상되며, GRU 기반 RNN을 사용할 경우 테스트 세트에서 BLEU-1 점수가 78.5에 도달한다.

ABSTRACT

Despite the recent advances in automatically describing image contents, their applications have been mostly limited to image caption datasets containing natural images (e.g., Flickr 30k, MSCOCO). In this paper, we present a deep learning model to efficiently detect a disease from an image and annotate its contexts (e.g., location, severity and the affected organs). We employ a publicly available radiology dataset of chest x-rays and their reports, and use its image annotations to mine disease names to train convolutional neural networks (CNNs). In doing so, we adopt various regularization techniques to circumvent the large normal-vs-diseased cases bias. Recurrent neural networks (RNNs) are then trained to describe the contexts of a detected disease, based on the deep CNN features. Moreover, we introduce a novel approach to use the weights of the already trained pair of CNN/RNN on the domain-specific image/text dataset, to infer the joint image/text contexts for composite image labeling. Significantly improved image annotation results are demonstrated using the recurrent neural cascade model by taking the joint image/text contexts into account.

연구 동기 및 목표

• 의료 영상 주석에서 병변 레이블이 위치, 중증도, 영향을 받는 기관에 대한 세부 정보를 결여한 경우가 많다는 문제를 해결하기 위해.
• 정상 케이스가 병변 케이스에 비해 현저히 많아지는 흉부 X선 데이터셋에서, CNN 학습 중 정규화 기법을 적용해 데이터 편향을 줄이기 위해.
• 방사선 검사 보고서와 MeSH 애너테이션에서 유도된 공동 이미지/텍스트 컨텍스트를 활용해 영상 캡션 성능을 향상시키기 위해.
• RNN이 생성한 컨텍스트 기반 설명을 사용해 반복적으로 영상 레이블을 개선하는 순환 캐스케이드 프레임워크를 개발하여 더 정확하고 세밀한 주석을 얻기 위해.
• 도메인 특화의 종단 간(end-to-end) 딥 러닝 모델을 사용해 방사선 전문의 수준의 흉부 X선 기술을 생성하는 것이 가능함을 입증하기 위해.

제안 방법

• 방법은 방사선 검사 보고서와 MeSH 애너테이션에서 추출한 질병 레이블을 사용해 CNN을 훈련시는 것으로 시작되며, 클래스 불균형 문제를 완화하기 위해 정규화 기법을 적용한다.
• 사전 학습된 RNN은 CNN의 깊은 특징에서 컨텍스트 기반 설명(예: '우측 상부 폐엽에 있는 석회화된 육종')을 생성하여 공동 이미지/텍스트 컨텍스트 벡터를 형성한다.
• RNN의 출력은 '석회화된 육종'이라는 단순한 레이블이 아닌, '좌측 폐저부에 있는 작은 석회화된 육종'과 같은 더 세밀하고 컨텍스트가 풍부한 질병 레이블로 이미지를 재라벨링하는 데 사용된다.
• CNN은 새로운 컨텍스트 인식 레이블을 사용해 더 낮은 학습률로 미세조정되며, RNN은 업데이트된 이미지 임베딩을 기반으로 재학습되어 향상된 캡션을 생성한다.
• 이 과정는 반복 캐스케이드로 형식화되며, 이전 반복의 공동 이미지/텍스트 컨텍스트 벡터를 사용해 CNN과 RNN을 반복적으로 재학습함으로써 레이블의 세밀도와 캡션 품질이 향상된다.
• 최종 모델은 GRU 또는 LSTM RNN을 사용하며, 생성된 시퀀스에 대해 교차 엔트로피 손실 함수를 적용하며, 손실은 이전 반복의 공동 컨텍스트 벡터에서 계산된다.

실험 결과

연구 질문

• RQ1 방사선 검사 보고서에서 파생된 공동 이미지/텍스트 컨텍스트가 자동 흉부 X선 주석의 정확도와 세부 정보를 향상시키는가?
• RQ2 딥 러닝 학습 중에 정상 케이스와 병변 케이스 간의 데이터 불균형 문제를 효과적으로 완화할 수 있는가?
• RQ3 RNN이 생성한 컨텍스트 기반 설명을 사용해 영상 레이블을 반복적으로 개선하는 것이 영상 캡션 모델의 성능을 얼마나 향상시키는가?
• RQ4 CNN과 RNN의 순환 캐스케이드 아키텍처가 표준 CNN-RNN 파이프라인을 초월해 의료 영상에 대해 방사선 전문의 수준의 기술을 생성할 수 있는가?
• RQ5 비정형적인 방사선 검사 보고서에서 위치, 중증도 등의 세부 정보를 추출해 더 정보가 풍부한 영상 분류기 훈련에 사용할 수 있는가?

주요 결과

• 반복 신경망 캐스케이드 모델은 GRU 기반 RNN을 사용할 경우 테스트 세트에서 BLEU-1 점수 78.5를 기록하여 공동 이미지/텍스트 컨텍스트를 사용하지 않은 베이스라인 모델보다 유의미하게 향상된 성능을 보였다.
• 모델은 BLEU-N 점수(N > 1)가 높아져 생성된 캡션에서 종합적인 컨텍스트 정보를 더 잘 포착하고 있음을 나타냈다.
• 컨텍스트 인식 레이블로 재학습한 후, '석회화된 육종'의 경우 수가 139에서 414로 증가했고, '투명도'의 경우 65에서 207로 증가하여 더 세밀한 레이블 세분화가 이루어졌음을 보여주었다.
• 첫 번째 언급된 질병 레이블당 평균 사례 수는 83.89로 증가했고, 표준편차는 86.07이었으며, 이는 컨텍스트 추출 후 레이블 분포가 향상되었음을 시사한다.
• 고빈도 질병 케이스를 k-means 클러스터링을 통해 하위 그룹(그룹 수 k = Round(n/50))으로 분류함으로써 CNN 재학습을 더 정밀하게 수행할 수 있었고, 최종 레이블 수는 17개에서 57개로 증가했다.
• GRU 기반 모델은 BLEU-2, BLEU-3, BLEU-4 점수에서 LSTM을 능가했지만, LSTM은 약간 더 높은 BLEU-1 점수를 기록하여 시퀀스 생성 품질에서의 상호 보완적 특성이 드러났다.