[논문 리뷰] AlignTransformer: Hierarchical Alignment of Visual Regions and Disease Tags for Medical Report Generation

Di You, Fenglin Liu외 4명|arXiv (Cornell University)|2022. 03. 18.

Multimodal Machine Learning Applications참고 문헌 46인용 수 12

한 줄 요약

이 논문은 의료 보고서 생성을 위한 새로운 프레임워크인 AlignTransformer를 제안한다. 이 프레임워크는 시각적 영역과 질병 태그를 정렬하기 위해 계층적 어텐션을 사용하여 데이터 편향을 완화하고 장문의 시퀀스 모델링을 가능하게 하며, 병변에 기반한 특징을 생성함으로써 비정상 영역을 강조한다. 이 방법은 IU-Xray 및 MIMIC-CXR 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 전문 방사선의사들이 이 모델의 보고서를 이전 모델의 보고서보다 선호한다.

ABSTRACT

Recently, medical report generation, which aims to automatically generate a long and coherent descriptive paragraph of a given medical image, has received growing research interests. Different from the general image captioning tasks, medical report generation is more challenging for data-driven neural models. This is mainly due to 1) the serious data bias: the normal visual regions dominate the dataset over the abnormal visual regions, and 2) the very long sequence. To alleviate above two problems, we propose an AlignTransformer framework, which includes the Align Hierarchical Attention (AHA) and the Multi-Grained Transformer (MGT) modules: 1) AHA module first predicts the disease tags from the input image and then learns the multi-grained visual features by hierarchically aligning the visual regions and disease tags. The acquired disease-grounded visual features can better represent the abnormal regions of the input image, which could alleviate data bias problem; 2) MGT module effectively uses the multi-grained features and Transformer framework to generate the long medical report. The experiments on the public IU-Xray and MIMIC-CXR datasets show that the AlignTransformer can achieve results competitive with state-of-the-art methods on the two datasets. Moreover, the human evaluation conducted by professional radiologists further proves the effectiveness of our approach.

연구 동기 및 목표

• 정상 영역이 훈련 데이터를 지배하는 의료 보고서 생성의 데이터 편향 문제를 해결하기 위해, 희귀하지만 중요한 병변을 간과하는 모델의 문제를 해결한다.
• 표준 RNN의 능력 범위를 초월해 장기간의 시퀀스를 모델링할 필요가 있는 장문의 일관성 있는 의료 보고서를 생성하는 도전 과제를 해결한다.
• 비정상 영역의 특징을 질병에 특화된 맥락에 기반시켜 시각적 특징의 정확성과 임상적 관련성을 향상시킨다.
• 시각적 영역과 질병 태그 간의 계층적 어텐션을 통해 비정상 영역의 표현을 향상시키는 프레임워크를 개발한다.
• 자동 평가 지표와 전문 방사선의사의 인간 평가를 통해 접근법의 효과성을 검증한다.

제안 방법

• 입력 이미지에서 질병 태그를 예측하고, 다중 해상도에서 시각적 영역와 계층적으로 정렬하는 Align Hierarchical Attention (AHA) 모듈을 도입한다.
• 양방향 어텐션 메커니즘을 사용한다: 먼저 질병 태그를 시각적 영역에 정렬하여 질병 기반 특징을 추출하고, 그 다음 관련 태그와 재정렬하여 시각적 특징을 개선한다.
• 粗기부터 세밀한 수준까지의 다중 해상도 시각적 특징을 활용하여, 질병 태그에 의해 유도된 주목할 만한 비정상 영역에 집중함으로써 데이터 편향을 완화한다.
• 학습된 게이팅 메커니즘을 통해 다중 해상도 질병 기반 특징을 적응적으로 융합하는 Multi-Grained Transformer (MGT) 디코더를 제안한다.
• MGT에서 트랜스포머 기반 아키텍처를 활용하여 장기간의 시퀀스를 효과적으로 모델링하고 일관성 있고 구조화된 의료 보고서를 생성한다.
• AHA와 MGT를 종합적으로 통합한 엔드 투 엔드 학습 가능한 프레임워크를 구성하여 특징 표현과 보고서 생성 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적 영역와 질병 태그 간의 계층적 정렬이 의료 영상 특징 내 비정상 영역의 표현을 향상시키는가?
• RQ2 질병 기반 시각적 특징의 사용이 의료 보고서 생성에서 데이터 편향의 영향을 줄이는가?
• RQ3 다중 해상도 특징 융합 메커니즘과 트랜스포머 디코더의 조합이 장기간의 일관성 있는 의료 보고서를 효과적으로 모델링하는가?
• RQ4 자동 평가 지표 및 인간 평가 지표에서 제안된 프레임워크는 최신 기술 수준의 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 의료 보고서의 임상적 관련성과 정확성 측면에서 방사선의사들이 AlignTransformer가 생성한 보고서를 기존 모델의 보고서보다 선호하는가?

주요 결과

• AlignTransformer는 IU-Xray 및 MIMIC-CXR 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 각각 BLEU-4 점수 0.173과 0.204를 기록하여 R2Gen 및 PPKED를 포함한 이전 방법들을 능가한다.
• AHA 모듈만으로도 베이스라인 대비 BLEU-4 점수를 18.8% 향상시켜 비정상 영역 특징을 캡처하고 데이터 편향을 감소시키는 데 효과적임을 입증한다.
• AHA와 MGT를 모두 포함한 전체 AlignTransformer 모델은 R2Gen 대비 인간 평가에서 63%의 승리 비율을 기록하여 방사선의사들 사이에서 더 강한 임상적 선호도를 보였다.
• 절단 실험 결과 AHA 및 MGT 모듈이 성능 향상에 기여하며, MGT는 모든 평가 지표에서 추가로 성능 향상을 이끌어냈다.
• 시각화 결과, AlignTransformer는 희귀한 병변—예를 들어 좌측 하엽 폐실질 병변 및 흉막 출혈—을 정확히 식별하고 기술하는 데 성공했으며, 정상 영역에 대한 반복적이거나 잘못된 기술을 피했다.
• 자동 평가 지표와 전문가 평가를 통해 검증된 바와 같이, 이 방법은 더 길고 구조화된 보고서를 정확하고 질병 특화된 내용으로 성공적으로 생성하였다.