[論文レビュー] Bag of Tricks for Long-Tailed Multi-Label Classification on Chest X-Rays

Hong Feng, Tianjie Dai+3 more|arXiv (Cornell University)|Aug 17, 2023

COVID-19 diagnosis using AIMedicine被引用数 3

ひとこと要約

本論文は、視覚的および言語的エンコーダーを統合し、トランスフォーマーに基づくクエリネットワークを用いてラベル相関をモデル化する、長尾マルチラベルコントラストX線分類のためのハイブリッドビジョン・ランゲージフレームワークを提示する。データ拡張、損失再重み付け、MixUp、テスト時拡張、外部データの補充を組み合わせることで、ICCV CVAMD 2023 CXR-LTテストセットで0.349 mAPを達成し、上位5位以内の順位を獲得した。

ABSTRACT

Clinical classification of chest radiography is particularly challenging for standard machine learning algorithms due to its inherent long-tailed and multi-label nature. However, few attempts take into account the coupled challenges posed by both the class imbalance and label co-occurrence, which hinders their value to boost the diagnosis on chest X-rays (CXRs) in the real-world scenarios. Besides, with the prevalence of pretraining techniques, how to incorporate these new paradigms into the current framework lacks of the systematical study. This technical report presents a brief description of our solution in the ICCV CVAMD 2023 CXR-LT Competition. We empirically explored the effectiveness for CXR diagnosis with the integration of several advanced designs about data augmentation, feature extractor, classifier design, loss function reweighting, exogenous data replenishment, etc. In addition, we improve the performance through simple test-time data augmentation and ensemble. Our framework finally achieves 0.349 mAP on the competition test set, ranking in the top five.

研究の動機と目的

• 臨床的コントラストX線診断におけるクラスの不均衡とラベルの共発生という二重の課題に対処すること。
• 長尾マルチラベルデータセットにおけるレア疾患のモデル性能を向上させること。
• 統合フレームワーク内で、データ拡張、損失再重み付け、テスト時拡張といった高度な技術を体系的に評価すること。
• より良いラベル相関モデリングを実現するため、事前学習済みテキストエンコーダーと視覚モデルの統合を検討すること。
• アンサンブルとデータ補充を用いて、ICCV CVAMD 2023 CXR-LTコンペティションで最先端のパフォーマンスを達成すること。

提案手法

• 画像特徴のための二重エンコーダー構造を採用：ResNet-50 または DenseNet-121 を画像特徴抽出に、PubMedBERT または Clinical-T5 をテキストラベル埋め込みに使用。
• 画像特徴（キー／バリュー）を用いてラベル埋め込み（クエリ）に注目する多層トランスフォーマー・デコーダーを適用し、クロスモーダル相互作用を可能にする。
• まれな疾患の長尾バイアスを軽減するために、クラス固有の再重み付けを施したクロスエントロピー損失を適用（重み増幅要因：2 または 3）。
• 正則化と一般化性能の向上を目的として、Beta(4)分布を用いたMixUp拡張を統合。
• テスト時拡張（TTA）のための幾何平均融合を採用し、耐性を向上させる。
• ラベル空間の整合性と未学習ラベルのゼロ抑制を実施することで、外部データセット（ChestXRay14 および CheXpert）を用いたトレーニングデータの補充を実施。

実験結果

リサーチクエスチョン

• RQ1 データ拡張と損失再重み付けの統合戦略は、長尾マルチラベルコントラストX線分類にどのように影響を与えるか？
• RQ2 事前学習済みテキストエンコーダーは、マルチラベル医療画像認識におけるラベル相関モデリングをどの程度向上させられるか？
• RQ3 テスト時拡張とアンサンブルは、稀な疾患の予測における一般化性能をどの程度向上させるか？
• RQ4 外部のX線データセットからの外部データ補充は、稀なクラスのパフォーマンス向上にどの程度有効か？
• RQ5 長尾マルチラベル設定において、ビジョン・ランゲージトランスフォーマーに基づくクエリネットワークは、標準的な分類ヘッドを上回る性能を示せるか？

主な発見

• ResNet-50 と PubMedBERT を用いた分類器、損失再重み付け（要因2または3）、MixUp、TTA の組み合わせにより、開発セットで0.3280 mAPを達成。これらの技術を適用しない場合の0.3187 mAPから向上した。
• クラス単位のアンサンブルがモデル単位のアンサンブルを上回り、テストセットで0.348 mAPを達成した。
• 最終モデルは、ChestXRay14 および CheXpert からの外部データ補充を適用したクラス単位のアンサンブルを用い、テストセットで0.349 mAPを達成し、コンペティションで上位5位以内の順位を獲得した。
• 外部データ補充により、ラベルの整合性を保ちながら追加のトレーニング信号を活用でき、特に稀な疾患においてパフォーマンスが向上した。
• 幾何平均融合を用いたテスト時拡張により、耐性が向上し、特に分類が難しいケースにおいてパフォーマンス向上が見られた。
• テキストエンコーダーとして PubMedBERT と Clinical-T5 を使用したが、最終構成では PubMedBERT がわずかに優れた結果を示した。