[論文レビュー] Advancing Radiograph Representation Learning with Masked Record Modeling

Hong-Yu Zhou, Chenyu Lian+2 more|arXiv (Cornell University)|Jan 30, 2023

COVID-19 diagnosis using AI被引用数 18

ひとこと要約

MRM は、X線写真パッチと関連レポートトークンを同時にマスクおよび再構成する統一的な事前学習フレームワークを導入し、胸部X線タスク間でのラベル効率の高い転移を実現します。

ABSTRACT

Modern studies in radiograph representation learning rely on either self-supervision to encode invariant semantics or associated radiology reports to incorporate medical expertise, while the complementarity between them is barely noticed. To explore this, we formulate the self- and report-completion as two complementary objectives and present a unified framework based on masked record modeling (MRM). In practice, MRM reconstructs masked image patches and masked report tokens following a multi-task scheme to learn knowledge-enhanced semantic representations. With MRM pre-training, we obtain pre-trained models that can be well transferred to various radiography tasks. Specifically, we find that MRM offers superior performance in label-efficient fine-tuning. For instance, MRM achieves 88.5% mean AUC on CheXpert using 1% labeled data, outperforming previous R$^2$L methods with 100% labels. On NIH ChestX-ray, MRM outperforms the best performing counterpart by about 3% under small labeling ratios. Besides, MRM surpasses self- and report-supervised pre-training in identifying the pneumonia type and the pneumothorax area, sometimes by large margins.

研究の動機と目的

• 自己監視あり学習とレポート監修付き放射線写真学習を組み合わせて、補完的な信号を活用する動機づけ。
• マスクされた放射線写真とマスクされた放射線レポートを同時に補完する統一的な事前学習フレームワークを提案する。
• 低ラベルな状況でも一般化する転移可能な放射線写真表現を学習する。
• MRM事前学習を通じて、複数の公開胸部X線データセットで性能の向上を示す。

提案手法

• 低解像度の放射線写真と関連するレポートに対して、ランダムマスキングを高いマスキング比で適用する。
• 放射線写真エンコーダを用いて、高解像度パッチの復元とレポートトークンの復元の両方を支えるパッチ埋め込みを生成する。
• マスクされていないレポートトークン埋め込みにグローバルな放射線写真表現を追加して、レポート復元（マスク言語モデル）用のハイブリッド表現を形成する。
• パッチベースの画像デコーダを介して、低解像度の入力から高解像度の放射線写真パッチを復元する（MIM損失）。
• レポートのマスク言語モデリング損失と画像復元のMSE損失を組み合わせたマルチタスク目的関数で訓練する（L = L_R + λ L_I）。
• NIH ChestX-ray、CheXpert、RSNA Pneumonia、SIIM、COVID-19 データセットにわたる下流の分類・分割タスクで事前学習済み画像エンコーダをファインチューニングして転移を実演する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり（画像のみ）とレポート監修付き（テキストベース）の放射線写真表現を効果的に統合できるか。
• RQ2 マスクされた画像復元とマスクされたレポート復元を同時に学習することは、限られたラベルでの転移を改善するか。
• RQ3 複数の胸部X線ベンチマークで、ラベル比の異なる条件下でMRMはどのように性能を示すか。
• RQ4 マルチタスクのマスキングと超解像復元が下流の性能にどのように寄与するか。

主な発見

• MRMはCheXpertで1%のラベルデータで平均AUC 88.5%を達成し、100%ラベルの従来手法を上回る。
• NIH ChestX-ray では、小さなラベリング比の下でMRMが最良の相手より約3%上回る。
• いくつかのタスクで、肺炎タイプと気胸領域の識別において、自己監視とレポート監視の事前学習を上回る。
• 制限付き監督下で、CheXpert、RSNA Pneumonia、SIIM にわたり、CONVIRT、GLoRIA、REFERS などのベースラインを一貫して上回る。
• Ablation は、マスクされたレポートモデリングとマスクされた放射線写真モデリングの双方が利益に寄与し、超解像復元はさまざまなラベル体制で追加の利益を提供することを示す。