[논문 리뷰] Residual-based Language Models are Free Boosters for Biomedical Imaging

Zhixin Lai, Jing Wu외 3명|arXiv (Cornell University)|2024. 03. 26.

Radiomics and Machine Learning in Medical Imaging인용 수 8

한 줄 요약

이 논문은 사전 학습된 대형 언어 모델(LLMs)의 잔여 기반 블록을 비전 인코더에 고정하고 연결하는 것이 시각적 인코더에 삽입해 언어 입력 없이 생의학 영상 작업(2D 및 3D)을 향상시킬 수 있음을 보여주며, MedMNIST 데이터셋에서 강력하거나 최첨단(SOTA) 성능을 달성한다.

ABSTRACT

In this study, we uncover the unexpected efficacy of residual-based large language models (LLMs) as part of encoders for biomedical imaging tasks, a domain traditionally devoid of language or textual data. The approach diverges from established methodologies by utilizing a frozen transformer block, extracted from pre-trained LLMs, as an innovative encoder layer for the direct processing of visual tokens. This strategy represents a significant departure from the standard multi-modal vision-language frameworks, which typically hinge on language-driven prompts and inputs. We found that these LLMs could boost performance across a spectrum of biomedical imaging applications, including both 2D and 3D visual classification tasks, serving as plug-and-play boosters. More interestingly, as a byproduct, we found that the proposed framework achieved superior performance, setting new state-of-the-art results on extensive, standardized datasets in MedMNIST-2D and 3D. Through this work, we aim to open new avenues for employing LLMs in biomedical imaging and enriching the understanding of their potential in this specialized domain.

연구 동기 및 목표

• 제약된 라벨링 데이터와 높은 계산 비용으로 생의학 영상 분석을 개선하고자 하는 동기를 제시한다.
• 시각 토큰에 대한 고정 인코더 블록으로 작용하는 잔여 기반의 언어 모델 부스터(R-LLM)를 제안한다.
• 일반성을 평가하기 위해 다양한 2D 및 3D 생의학 영상 데이터셋에 걸쳐 접근법을 평가한다.
• 언어 프롬프트나 사전 학습된 비전-언어 모델에 의존하지 않고 부스터가 최첨단 결과에 도달하거나 이를 능가할 수 있음을 입증한다.

제안 방법

• 시각 토큰을 처리하기 위해 비전 인코더에 고정된 LLM 트랜스포머 블록 F_L를 삽입한다.
• LLM 블록 전후에 학습 가능한 적응 계층 F_E와 F_D를 사용하여 특징 차원을 맞춘다.
• LLM 블록의 앞뒤에 잔여 연결을 적용하여 기울기 흐름과 정보 교환을 촉진한다.
• 훈련 중 LLM 블록은 고정된 상태로 두고 F_E, F_D 및 파이프라인의 나머지를 엔드-투-엔드로 학습한다.
• 시각 데이터에 맞게 자기회귀 마스크와 LLM 위치 임베딩을 제거한다; 언어 프롬프트는 필요하지 않다.
• ViT, ViViT, ViT3D 등 여러 백본에서 2D 및 3D 생의학 데이터셋에 걸친 즉시 적용 가능성을 시연한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델의 고정 트랜스포머 블록이 언어 데이터 없이 생의학 영상용으로 효과적인 시각 인코더로 작용할 수 있는가?
• RQ2 잔여 기반 LLM 부스터가 다양한 데이터셋에서 2D 및 3D 생의학 분류 작업을 개선하는가?
• RQ3 LLM을 고정하고 적응 모듈만 학습하는 것과 LLM을 미세조정하는 것 사이에 이점이 있는가?
• RQ4 잔여 연결이 모달리티 전반에 걸친 부스터의 성능에 중요한 역할을 하는가?

주요 결과

• R-LLM은 2D 생의학 영상 데이터셋에서 일관되게 성능을 향상시키며 (ACC 및/또는 AUC 이득) 3D 데이터셋에서도 향상시킨다.
• 이 방법은 여러 MedMNIST 기반 작업에서 최첨단 결과를 달성하며, 특히 OCTMNIST 및 기타 데이터셋에서 SoTA를 능가한다.
• 학습 가능 어댑터가 있는 LLM 블록을 고정하는 것이 엔드-투-엔드 미세조정보다 더 나은 결과를 내고 과적합과 학습 복잡성을 감소시킨다.
• 잔여 구조가 성능에 중요하며, 적절한 잔여 설계가 없는 변형은 성능이 떨어진다.
• Grad-CAM 시각화는 R-LLM을 부스터로 사용할 때 진단학적으로 관련 영역에 집중이 향상됨을 나타낸다.