[논문 리뷰] METransformer: Radiology Report Generation by Transformer with Multiple Learnable Expert Tokens

Zhanyu Wang, Lingqiao Liu외 2명|arXiv (Cornell University)|2023. 04. 05.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

METransformer는 영상 영역에 대한 보완적이고 다양한 주의를 가능하게 하기 위해 인코더와 디코더 양쪽에 학습 가능한 전문가 토큰을 도입한 트랜스포머 기반 모델에서 다중 전문가 주의 메커니즘을 제안한다. 정규화된 주의를 유도하기 위해 직교 손실을 사용하고, 최종 보고서 선택을 위해 지표 기반 투표 전략을 적용함으로써, 파rameter 증가량이 최소한이면서도 IU-Xray 및 MIMIC-CXR에서 최신 기술 수준의 성능을 달성하며, 앙상블 방법보다 효율성과 정확도에서 뛰어나다.

ABSTRACT

In clinical scenarios, multi-specialist consultation could significantly benefit the diagnosis, especially for intricate cases. This inspires us to explore a "multi-expert joint diagnosis" mechanism to upgrade the existing "single expert" framework commonly seen in the current literature. To this end, we propose METransformer, a method to realize this idea with a transformer-based backbone. The key design of our method is the introduction of multiple learnable "expert" tokens into both the transformer encoder and decoder. In the encoder, each expert token interacts with both vision tokens and other expert tokens to learn to attend different image regions for image representation. These expert tokens are encouraged to capture complementary information by an orthogonal loss that minimizes their overlap. In the decoder, each attended expert token guides the cross-attention between input words and visual tokens, thus influencing the generated report. A metrics-based expert voting strategy is further developed to generate the final report. By the multi-experts concept, our model enjoys the merits of an ensemble-based approach but through a manner that is computationally more efficient and supports more sophisticated interactions among experts. Experimental results demonstrate the promising performance of our proposed model on two widely used benchmarks. Last but not least, the framework-level innovation makes our work ready to incorporate advances on existing "single-expert" models to further improve its performance.

연구 동기 및 목표

• 작은 비정상성과 위치에 민감하지 않은 영역에 대한 세밀한 주의 문제를 해결하기 위해.
• 단일 신경망 내에서 다수의 전문가 시각을 모델링하여 다수의 전문의가 함께 진료하는 임상 상황을 시뮬레이션하기 위해.
• 직교 정규화를 통해 전문가 토큰이 보완적인 시각적 표현을 학습하도록 하여 보고서 품질과 다양성을 향상시키기 위해.
• 최소한의 파라미터 오버헤드로 높은 성능을 유지하면서도 앙상블 모델보다 계산 효율성이 뛰어난 대안을 개발하기 위해.

제안 방법

• 트랜스포머 기반 아키텍처의 인코더와 디코더 양쪽에 다수의 학습 가능한 '전문가 토큰'을 도입하여 병렬 전문가 모델링을 가능하게 한다.
• 인코더에서는 전문가 토큰이 시각적 토큰에 주의를 기울이고, 선형 및 이차 주의 메커니즘을 통해 상호 작용하여 다양한 영상 영역을 포착한다.
• 전문가 토큰 간의 중복을 최소화하기 위해 직교 손실을 적용하여 서로 다른 보완적인 영역에 주의를 기울이도록 유도한다.
• 디코더에서는 각 전문가 토큰이 단어 임베딩과 시각적 토큰 간의 교차 주의를 이끌어내며, M명의 전문가에 대해 M개의 후보 보고서를 생성한다.
• 지표 기반 전문가 투표 전략을 사용하여 M개 후보 중 최종 보고서를 선택함으로써 정확성과 임상적 관련성을 향상시킨다.
• 비전 트랜스포머(ViT) 인코더와 이차 트랜스포머 인코더를 조합한 이중 스트림 아키텍처를 사용하여 세밀한 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델에 다수의 학습 가능한 전문가 토큰을 도입함으로써 영상 영역에 대한 다양하고 보완적인 주의를 가능하게 하여 영상 진단 보고서 생성을 향상시킬 수 있는가?
• RQ2 전문가 토큰에 대한 직교 정규화는 단일 전문가 모델 대비 주의 다양성과 보고서 품질에 어떤 영향을 미치는가?
• RQ3 제안된 다중 전문가 프레임워크는 훨씬 적은 파라미터를 사용하면서도 앙상블 방법보다 뛰어난 성능을 달성할 수 있는가?
• RQ4 지표 기반 전문가 투표 전략은 생성된 보고서의 임상적 관련성과 정확도를 얼마나 향상시키는가?
• RQ5 전문가 토큰 수가 증가함에 따라 성능 저하 없이 효율적으로 확장되는가?

주요 결과

• METransformer는 IU-Xray 및 MIMIC-CXR 벤치마크에서 기존의 단일 전문가 및 앙상블 기반 방법을 능가하는 최신 기술 수준의 성능을 달성한다.
• 전문가 토큰 수를 1개에서 7개로 늘일수록 CIDEr 점수가 크게 향상되며, 7명의 전문가에서 최고 성능을 기록한다.
• 전문가 수가 7개를 초과하면 성능이 약간 감소하며(예: 9명일 경우), 이는 다양성과 관련 없는 주의에 의한 노이즈 사이의 최적 균형을 의미한다.
• 7명의 전문가 토큰을 가진 METransformer는 단일 전문가 모델보다 뿌리 파라미터가 0.007M(0.05‰) 뿐 더 증가한 상태에서 세 개의 앙상블 기반 기준 모델보다 더 우수한 성능을 낸다.
• 정성적 분석 결과 각 전문가 토큰이 서로 다른 임상적으로 관련 있는 영역(예: 갈비-diaphragm 각도)에 집중함을 확인하였으며, 핵심 이상 징후의 국소화를 향상시킨다.
• 시각적 주의 맵 분석 결과 METransformer는 기준 모델 대비 심장과 같은 관련 해부학적 구조물과 더 잘 일치하는 텍스트 생성을 가능하게 한다.