[논문 리뷰] Generating Radiology Reports via Memory-driven Transformer

Zhihong Chen, Yan Song외 2명|arXiv (Cornell University)|2020. 10. 30.

Topic Modeling참고 문헌 39인용 수 26

한 줄 요약

이 논문은 방사선 검사 보고서 생성을 위한 메모리 주도 Transformer 모델을 제안하며, 유사성 메모리와 메모리 주도 조건부 정규화를 도입하여 장기적이고 임상적으로 정확한 보고서 생성을 향상시킨다. 이 방법은 IU X-Ray 및 MIMIC-CXR 데이터셋에서 최신 기술 수준의 성능을 달성하여 의료 용어의 정확성과 의미 있는 이미지-텍스트 어텐션 매핑을 향상시킨다.

ABSTRACT

Medical imaging is frequently used in clinical practice and trials for diagnosis and treatment. Writing imaging reports is time-consuming and can be error-prone for inexperienced radiologists. Therefore, automatically generating radiology reports is highly desired to lighten the workload of radiologists and accordingly promote clinical automation, which is an essential task to apply artificial intelligence to the medical domain. In this paper, we propose to generate radiology reports with memory-driven Transformer, where a relational memory is designed to record key information of the generation process and a memory-driven conditional layer normalization is applied to incorporating the memory into the decoder of Transformer. Experimental results on two prevailing radiology report datasets, IU X-Ray and MIMIC-CXR, show that our proposed approach outperforms previous models with respect to both language generation metrics and clinical evaluations. Particularly, this is the first work reporting the generation results on MIMIC-CXR to the best of our knowledge. Further analyses also demonstrate that our approach is able to generate long reports with necessary medical terms as well as meaningful image-text attention mappings.

연구 동기 및 목표

• 딥 러닝을 사용하여 장기적이고 임상적으로 정확한 방사선 검사 보고서를 생성하는 데 도전하는 것.
• 방사선 검사 보고서의 패턴화된 다중 문장 구조를 포착하지 못하는 기존 이미지 캡션 모델을 개선하는 것.
• 메모리 메커니즘을 통해 보고서 내 반복적인 임상 패턴을 암묵적으로 모델링하는 것.
• 새로운 정규화 기법을 통해 유사성 메모리를 통합하여 Transformer 디코더의 성능을 향상시키는 것.
• IU X-Ray 및 MIMIC-CXR를 포함한 기준 방사선 검사 보고서 데이터셋에서 최신 기술 수준의 성능을 입증하는 것, 특히 MIMIC-CXR에 대한 첫 보고된 결과를 포함한다.

제안 방법

• 이전 디코딩 단계에서 핵심 정보를 저장하고 검색하기 위해 유사성 메모리(RM)를 도입하여 보고서 간 패턴을 포착한다.
• Transformer 레이어의 정규화를 유사성 메모리에 조건부로 적용하기 위해 메모리 주도 조건부 레이어 정규화(MCLN) 메커니즘을 설계한다.
• 메모리가 Transformer 아키텍처의 디코더에 통합되어 자동적 생성 중 동적 맥락 적응이 가능하게 한다.
• 모델은 표준 순서-순서 프레임워크를 따르며, 이미지 패치에서 추출된 시각적 특징을 입력으로 사용한다.
• 학습 목표는 정답 보고서와 생성된 시퀀스 간의 교차 엔트로피 손실을 최소화하는 것이다.
• 표준 학습 프rotocol를 사용하여 두 개의 공개 데이터셋인 IU X-Ray 및 MIMIC-CXR에서 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 메모리 보강된 Transformer 아키텍처가 장기적이고 임상적으로 구조화된 방사선 검사 보고서의 생성을 향상시킬 수 있는가?
• RQ2 유사성 메모리를 통합할 경우 모델의 의료적으로 정확하고 패턴화된 보고서 생성 능력에 어떤 영향을 미치는가?
• RQ3 제안된 MCLN 메커니즘이 이미지 영역과 생성된 보고서 토큰 간의 어텐션 정렬을 향상시키는가?
• RQ4 표준 평가 지표와 임상 평가 모두에서 이전 최신 기술 수준의 방법들과 비교해 모델의 성능은 어떠한가?
• RQ5 메모리 크기가 보고서 품질과 생성 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 BLEU, ROUGE, CIDEr를 포함한 여러 언어 생성 평가 지표에서 IU X-Ray 및 MIMIC-CXR 데이터셋 모두에서 최신 기술 수준의 성능을 달성한다.
• MIMIC-CXR에서 모델은 첫 보고된 결과를 발표하여 대규모이고 다양한 임상 데이터셋에서의 효과성을 입증한다.
• 기준 모델 대비 보다 긴 보고서를 생성하며, 'atelectasis'와 'pleural effusion'과 같은 핵심 의료 용어의 빈도가 높아졌다.
• 정성적 분석 결과, 모델은 더 의미 있는 이미지-텍스트 어텐션 매핑을 생성하여 보고된 소견과 시각적 영역 간의 정렬이 향상됨을 보여준다.
• 절단 실험 결과, 유사성 메모리와 MCLN 메커니즘이 성능 향상에 크게 기여하며, 중간 크기의 메모리에서 최적의 성능을 기록함을 확인하였다.
• 오류 분석 결과, 훈련 데이터의 클래스 불균형이 희귀 소견에 영향을 미치며, 향후 연구에서 데이터 편향이 주요 제한 요소임을 시사한다.