[논문 리뷰] MAIRA-2: Grounded Radiology Report Generation

Shruthi Bannur, Kenza Bouzid외 19명|arXiv (Cornell University)|2024. 06. 06.

Radiomics and Machine Learning in Medical Imaging인용 수 13

한 줄 요약

MAIRA-2는 방사선학 특화 이미지 인코더와 LLM을 결합하여 흉부 X-선에서 문장 수준의 근거 소견을 생성하고 RadFact로 평가하며, MIMIC-CXR에서 소견 생성의 최첨단을 달성하고 근거 보고를 가능하게 한다.

ABSTRACT

Radiology reporting is a complex task requiring detailed medical image understanding and precise language generation, for which generative multimodal models offer a promising solution. However, to impact clinical practice, models must achieve a high level of both verifiable performance and utility. We augment the utility of automated report generation by incorporating localisation of individual findings on the image - a task we call grounded report generation - and enhance performance by incorporating realistic reporting context as inputs. We design a novel evaluation framework (RadFact) leveraging the logical inference capabilities of large language models (LLMs) to quantify report correctness and completeness at the level of individual sentences, while supporting the new task of grounded reporting. We develop MAIRA-2, a large radiology-specific multimodal model designed to generate chest X-ray reports with and without grounding. MAIRA-2 achieves state of the art on existing report generation benchmarks and establishes the novel task of grounded report generation.

연구 동기 및 목표

• 방사선과의 업무 부담을 줄이고 일관성을 높이기 위해 자동화된 양질의 방사선 보고서 작성의 동기를 부여한다.
• 이미지 내 각 소견의 위치를 로컬라이즈하여 보고서 생성을 근거 있는 보고로 확장한다.
• 생성된 문장의 사실성 및 근거화와 공간 주석을 평가하는 평가 프레임워크(RadFact)를 개발한다.
• 종합 멀티모달 입력(현재의 전방 및 측면 영상, 이전 연구, Indication, Technique, Comparison)을 처리하기 위해 방사선학 특화 이미지 인코더와 대형 언어 모델을 결합한다.

제안 방법

• 학습 중에 고정된 Ret- DINO 기반 방사선 영상 인코더(Rad-DINO)를 사용하여 영상 토큰을 생성한다.
• 학습 가능한 어댑터를 가진 Vicuna 기반 LLM(7B 또는 13B)을 사용하여 영상 토큰과 구조화된 프롬프트에 조건부로 텍스트를 생성한다.
• 공간 주석을 Bounding boxes를 위한 이산화된 100x100 격자 좌표로 표현하고 이를 생성 프롬프트에 삽입한다.
• 생성 정확도를 향상시키기 위해 현재의 전방 및 측면 CXR, prior 전방 영상 및 보고서, 그리고 보고서 섹션(Indication, Technique, Comparison)을 포함한 향상된 입력을 제공한다.
• 3개 뷰 영상 및 추가 입력을 다룰 수 있도록 RoPE 스케일링에 의한 컨텍스트 길이 확장을 포함하여 다태스크 데이터셋 혼합에 대해 자동회귀 교차 엔트로피 손실로 단일 단계에서 학습한다.

실험 결과

연구 질문

• RQ1 MAIRA-2가 소견을 정확한 이미지 위치와 연관지어 근거가 있는 방사선 보고서를 생성할 수 있는가?
• RQ2 측면 영상, 이전 연구 및 상세 보고서 섹션의 포함이 보고서 품질과 근거 정확도를 향상시키는가?
• RQ3 RadFact가 방사선 보고서에서 문장 수준의 사실성과 공간 근거를 평가하는 프레임워크로서 얼마나 효과적인가?
• RQ4 모델 규모(7B 대 13B)가 텍스트 품질 및 근거 성능에 미치는 영향은 무엇인가?

주요 결과

• MAIRA-2는 근거 부여 가능 보고서 생성을 달성하여, MIMIC-CXR에서 소견 생성의 새로운 최첨단을 확립했다(근거 부여 없이).
• RadFact 점수는 7B 및 13B 모델에서 약 73–75%의 높은 사실성 및 약 72–74%의 논리적 재현성을 나타낸다.
• 근거 정밀도는 약 68–69%, 높은 근거 재현율(~92–93%), 박스 완성 정밀도는 약 68–70%, 박스 완성 재현율은 약 84–86%이다.
• 13B 변형은 텍스트 품질에서 가벼운 향상과 측정/근거 지표에서 7B에 비해 더 큰 향상을 보인다.
• 박스 수준 근거(구문 근거)는 올바르게 생성된 구에 대해 약 68–70%의 정밀도와 약 84–86%의 재현율을 보인다.
• RadFact-Llama3은 생성된 문장을 실제 참조와 비교하여 강력한 함의 기반 평가를 제공한다.