[論文レビュー] Label-Assemble: Leveraging Multiple Datasets with Partial Labels

Mintong Kang, Li, Bowen+5 more|arXiv (Cornell University)|Sep 25, 2021

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

Label-Assemble は、病理的および空間的に関連するラベルを異種の公開データセットから組み合わせることで、部分的にラベル付けされた医療データセットを活用するための新しいフレームワークを提案する。負のラベルや関連疾患ラベルを補助信号として扱い、クラスクエリ、疑似ラベル付け、一貫性正則化を用いる。完全なアノテーションを必要とせず、病理的および空間的に関連するラベルを統合することで、COVID-19 診断の正確性を 99.3% まで向上させ、PDAC 検出感度を 84.0% まで高め、最先端の性能を達成した。

ABSTRACT

The success of deep learning relies heavily on large labeled datasets, but we often only have access to several small datasets associated with partial labels. To address this problem, we propose a new initiative, "Label-Assemble", that aims to unleash the full potential of partial labels from an assembly of public datasets. We discovered that learning from negative examples facilitates both computer-aided disease diagnosis and detection. This discovery will be particularly crucial in novel disease diagnosis, where positive examples are hard to collect, yet negative examples are relatively easier to assemble. For example, assembling existing labels from NIH ChestX-ray14 (available since 2017) significantly improves the accuracy of COVID-19 diagnosis from 96.3% to 99.3%. In addition to diagnosis, assembling labels can also improve disease detection, e.g., the detection of pancreatic ductal adenocarcinoma (PDAC) can greatly benefit from leveraging the labels of Cysts and PanNets (two other types of pancreatic abnormalities), increasing sensitivity from 52.1% to 84.0% while maintaining a high specificity of 98.0%.

研究の動機と目的

• 医療画像におけるラベル付きデータの限界を克服し、部分的にラベル付けされた公開データセットを活用することを目的とする。
• 既存の手法がデータのラベル付き部分のみを活用し、ラベルなしまたは部分ラベル付きの例の潜在的価値を無視するという制限を乗り越えること。
• 希少疾患や新規疾患のモデル性能向上に、負の例や関連疾患の例からの学習が有効であるかどうかを調査すること。
• 複数のデータセットにまたがる、変動する、異種の、あるいは矛盾するラベルを動的に統合できる統一されたフレームワークの開発。
• 病理的または空間的に関連する疾患からのラベルを統合することで、診断および検出タスクの両方で顕著な性能向上が達成されることを示すこと。

提案手法

• 異なるカテゴリを有するデータセット間で部分ラベルを動的に統合できる、学習可能なクラスクエリメカニズムを導入し、視覚的タスクを符号化する。
• 共有畳み込みニューラルネットワーク（CNN）を用いて画像特徴を抽出し、その後、特徴量とクラスクエリの内積によって予測を計算する予測ヘッドを適用する。
• ラベルが利用可能な場合にはバイナリクロスエントロピー損失（ℒ_bce）を適用し、ラベルが欠落している場合には疑似ラベル付けと一貫性正則化を用いて非教師あり損失（ℒ_pseudo および ℒ_consist）を適用する。
• 疑似ラベル付けを用いてラベルなしサンプルの予測を生成し、アノテーションの変換に伴うドメインシフトの影響を軽減するために、変換間の一貫性を強制する。
• 教師ありと自己教師ありの目的関数を組み合わせて、エンドツーエンドで学習することで、異種のソースからのラベル付きおよびラベルなしデータを有効に活用する。
• クラスクエリメカニズムにより、固定カテゴリ分類とは異なり、任意で変動するクラス数を扱えるようにすることで、マルチタスク学習にフレームワークを適応させる。

実験結果

リサーチクエスチョン

• RQ1 部分ラベル付きデータセットにおける負例からの学習が、COVID-19 などのターゲット疾患のモデル性能を向上させることができるか？
• RQ2 病理的に類似した疾患（例：COVID-19 に対する肺炎）からのラベルを統合することで、陽性例に依存するのとは対照的に、より優れた診断性能が得られるか？
• RQ3 空間的に関連する異常（例：PDAC に対する嚢胞やPanNET）からのラベルを活用することで、疾患検出感度が向上するか？
• RQ4 複数の異種データセットからの部分ラベルのみを用いて、完全ラベル学習と同等の性能を達成することは可能か？
• RQ5 提案された Label-Assemble フレームワークは、ラベル付きデータのみを活用するか、完全アノテーションを必要とする既存手法と比較して、どのように優れているか？

主な発見

• Label-Assemble は、NIH ChestX-ray14 からのラベルを統合することで、COVID-19 診断の正確性を 96.3% から 99.3% まで向上させた。これは、負の例や関連疾患例からの学習が意思決定境界の学習を強化することを示している。
• 関連する膵臓疾患（嚢胞やPanNET）からのラベルを統合することで、膵管癌（PDAC）検出感度を 52.1% から 84.0% まで向上させ、高い特異度（98.0%）を維持した。
• 性能向上はクラス間類似度と正の相関関係にあり、肺結節分類において、改善度と統合された疾患との類似度のピアソン相関係数は r=0.83（p=4.93e-4）であった。
• Label-Assemble は NIH ChestX-ray14 で最先端の mAUC 0.832 を達成し、14 ある胸部疾患のうち 13 つで先行手法を上回った。また、CheXpert の性能もベースライン比 1.8% 向上させた。
• 完全ラベル学習と同等の性能を達成しながら、ラベル作成コストを 40% 削減（75,310 件の部分ラベル vs. 105,434 件の完全ラベル）した。完全なラベルの完成は必ずしも必要でないことを示した。
• 学習可能なクラスクエリと一貫性正則化の特徉により、DoDNet や Med3D などの既存の部分ラベルベースラインと比較して、特にマルチタスクおよび半教師あり学習設定で優れた性能を発揮した。