[論文レビュー] Residual-based Language Models are Free Boosters for Biomedical Imaging

Zhixin Lai, Jing Wu+3 more|arXiv (Cornell University)|Mar 26, 2024

Radiomics and Machine Learning in Medical Imaging被引用数 8

ひとこと要約

本論文は、事前学習済みの大規模言語モデル（LLMs）からの残差ベースのブロックを凍結して視覚エンコーダに組み込むことで、生物医療画像処理タスク（2Dおよび3D）を言語入力なしに向上させ、MedMNISTデータセットで強力な結果または最先端の結果を達成することを示している。

ABSTRACT

In this study, we uncover the unexpected efficacy of residual-based large language models (LLMs) as part of encoders for biomedical imaging tasks, a domain traditionally devoid of language or textual data. The approach diverges from established methodologies by utilizing a frozen transformer block, extracted from pre-trained LLMs, as an innovative encoder layer for the direct processing of visual tokens. This strategy represents a significant departure from the standard multi-modal vision-language frameworks, which typically hinge on language-driven prompts and inputs. We found that these LLMs could boost performance across a spectrum of biomedical imaging applications, including both 2D and 3D visual classification tasks, serving as plug-and-play boosters. More interestingly, as a byproduct, we found that the proposed framework achieved superior performance, setting new state-of-the-art results on extensive, standardized datasets in MedMNIST-2D and 3D. Through this work, we aim to open new avenues for employing LLMs in biomedical imaging and enriching the understanding of their potential in this specialized domain.

研究の動機と目的

• 限定的なラベル付きデータと高い計算コストという制約の中で、生物医療画像解析の改善を動機づける。
• 視覚トークンの凍結エンコーダブロックとして機能する、残差ベースの言語モデルブースター（R-LLM）を提案する。
• 一般性を評価するため、さまざまな2Dおよび3D生物医学画像データセットでアプローチを評価する。
• 言語プロンプトや事前学習済みのビジョン–言語モデルに依存せずに、ブースターが最先端の結果を達成できることを示す。

提案手法

• 視覚トークンを処理するために、凍結したLLMトランスフォーマーブロック F_L を視覚エンコーダに挿入する。
• LLMブロックの前後に学習可能な適応層 F_E と F_D を用いて特徴次元を揃える。
• 勾配フローと情報伝達を促進するため、LLMブロックの前後に残差接続を適用する。
• 訓練中はLLMブロックを凍結したままにし、F_E、F_D、およびパイプラインの他の部分をエンドツーエンドで訓練する。
• 視覚データに合わせて自己回帰マスクとLLMの位置エンベディングを削除する; 言語プロンプトは不要。
• 2Dおよび3Dの生物医学データセットと複数のバックボーン（ViT, ViViT, ViT3D）に対するプラグアンドプレーの有効性を実証する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルの凍結されたトランスフォーマーブロックは、言語データなしで生物医療画像の効果的な視覚エンコーダとして機能するか？
• RQ2 残差ベースのLLMブースターは、さまざまなデータセットに対して2Dおよび3Dの生物医療分類タスクを改善するか？
• RQ3 LLMを凍結し適応モジュールのみを訓練することは、LLMをファインチューニングする場合と比較して利点があるか？
• RQ4 残差接続は、モダリティを横断したブースターの性能において重要な役割を果たすか？

主な発見

• R-LLMは、2D生物医療画像データセット（ACCおよび/またはAUCの利得）と3Dデータセットの性能を一貫して向上させる。
• このアプローチは、いくつかのMedMNISTベースのタスクで最先端の結果を達成し、特にOCTMNISTや他のデータセットでSoTAを上回る。
• 学習可能なアダプタを備えたLLMブロックの凍結は、エンドツーエンドのファインチューニングより良い結果を示し、過学習と訓練の複雑さを軽減する。
• 残差構造は性能にとって重要であり、適切な残差設計を欠く変種は性能が劣る。
• Grad-CAMの可視化は、R-LLMをブースターとして使用した場合、診断上関連する領域への焦点が改善されることを示している。