[論文レビュー] METransformer: Radiology Report Generation by Transformer with Multiple Learnable Expert Tokens

Zhanyu Wang, Lingqiao Liu+2 more|arXiv (Cornell University)|Apr 5, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

METransformerは、画像領域への補完的で多様な注目を可能にするために、エンコーダーとデコーダーの両方に学習可能なエキスパートトークンを導入した、トランスフォーマーに基づくレポーティング手法を提案する。直交損失を用いて注目領域の重複を低減させるとともに、メトリクスに基づく投票戦略を採用することで、パrameter増加を最小限に抑えつつ、IU-XrayおよびMIMIC-CXRで最先端の性能を達成し、アンサンブル手法に比して効率性と正確性の両面で優れている。

ABSTRACT

In clinical scenarios, multi-specialist consultation could significantly benefit the diagnosis, especially for intricate cases. This inspires us to explore a "multi-expert joint diagnosis" mechanism to upgrade the existing "single expert" framework commonly seen in the current literature. To this end, we propose METransformer, a method to realize this idea with a transformer-based backbone. The key design of our method is the introduction of multiple learnable "expert" tokens into both the transformer encoder and decoder. In the encoder, each expert token interacts with both vision tokens and other expert tokens to learn to attend different image regions for image representation. These expert tokens are encouraged to capture complementary information by an orthogonal loss that minimizes their overlap. In the decoder, each attended expert token guides the cross-attention between input words and visual tokens, thus influencing the generated report. A metrics-based expert voting strategy is further developed to generate the final report. By the multi-experts concept, our model enjoys the merits of an ensemble-based approach but through a manner that is computationally more efficient and supports more sophisticated interactions among experts. Experimental results demonstrate the promising performance of our proposed model on two widely used benchmarks. Last but not least, the framework-level innovation makes our work ready to incorporate advances on existing "single-expert" models to further improve its performance.

研究の動機と目的

• 微細な注目（注目領域が小さく、場所に依存しない）を伴うレントゲン画像レポート生成における課題に対処すること。
• 1つのニューラルネットワーク内に複数のエキスパートの視点をモデル化することで、複数の専門家による臨床的コンサルテーションを模倣すること。
• 直交正則化を用いてエキスパートトークンが補完的な視覚的表現を学習できるようにすることで、レポートの品質と多様性を向上させること。
• パrameterの追加を最小限に抑えつつ、高い性能を維持するアンサンブルモデルの計算効率の良い代替手法を開発すること。

提案手法

• トランスフォーマーベースのバックボーンのエンコーダーとデコーダーに、複数の学習可能な「エキスパートトークン」を導入し、並列でのエキスパートモデリングを可能にする。
• エンコーダーでは、エキスパートトークンが視覚的トークンに注目し、線形および双線形の注目メカニズムを介して互いに相互作用することで、多様な画像領域を捉える。
• エキスパートトークン間の重複を最小限に抑えるために、直交損失を適用し、異なる補完的領域に注目するよう促進する。
• デコーダーでは、各エキスパートトークンが単語埋め込みと視覚的トークンの間でクロス注目を制御し、M個のエキスパートに対応してM個の候補レポートを生成する。
• 最終レポート選択のためのメトリクスに基づくエキスパート投票戦略を採用することで、レポートのロバスト性と臨床的妥当性を向上させる。
• 二重ストリームアーキテクチャを採用：視覚トランスフォーマー（ViT）エンコーダーと双線形トランスフォーマー・エンコーダーを組み合わせ、微細な特徴抽出を強化する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくモデルに複数の学習可能なエキスパートトークンを導入することで、画像領域への多様かつ補完的な注目を可能にし、レポート生成の質を向上させることができるか？
• RQ2 エキスパートトークンに直交正則化を適用することで、単一エキスパートモデルと比較して注目度の多様性とレポート品質にどのような影響を与えるか？
• RQ3 提案されたマルチエキスパートフレームワークは、顕著に少ないパrameter数でアンサンブル手法を上回る性能を達成できるか？
• RQ4 メトリクスに基づくエキスパート投票戦略は、生成レポートの臨床的妥当性と正確性をどの程度向上させるか？
• RQ5 エキスパートトークンの数を増やしても、性能劣化を伴わず効率的にスケーリングできるか？

主な発見

• METransformerは、IU-XrayおよびMIMIC-CXRの両ベンチマークで最先端の性能を達成し、既存の単一エキスパートおよびアンサンブルベースの手法を上回っている。
• エキスパート数を1から7に増やすことでCIDErスコアが著しく向上し、7エキスパートで最高の性能が得られた。
• エキスパート数が7を超える（例：9）と、性能がわずかに低下する傾向を示し、多様性と不要な注目（ノイズ）のバランスが最適であることが示唆された。
• 7エキスパートを搭載したMETransformerは、3つのアンサンブルベースラインを上回る性能を発揮しながら、単一エキスパートモデルに比べてパrameterがたった0.007M（0.05‰）増加にとどまっている。
• 定性的な分析から、各エキスパートトークンが、肋骨・横隔膜角など臨床的に関連のある特定の画像領域に注目していることが確認され、重要な所見の局在化が向上した。
• 視覚的注目マップでは、METransformerがベースラインモデルと比較して、心臓などの関連する解剖学的構造と生成テキストをよりよく一致させていることが示された。