[論文レビュー] When More is Less: Incorporating Additional Datasets Can Hurt Performance By Introducing Spurious Correlations

Rhys Compton, Lily Zhang+2 more|arXiv (Cornell University)|Aug 8, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本稿では、外部の医療画像データセットを追加することで、疾患ラベルと病院固有の画像アーティファクトの間にある誤った相関関係のため、モデルの性能が低下する可能性があることを示している。評価された設定の43％において、2つの病院のデータを組み合わせて訓練したモデルは、単一の病院のデータでの訓練よりも、最悪グループ精度が悪化した。これは、テストデータの分布に近づくように訓練分布を改善したにもかかわらず、依然として性能が低下したことを示している。

ABSTRACT

In machine learning, incorporating more data is often seen as a reliable strategy for improving model performance; this work challenges that notion by demonstrating that the addition of external datasets in many cases can hurt the resulting model's performance. In a large-scale empirical study across combinations of four different open-source chest x-ray datasets and 9 different labels, we demonstrate that in 43% of settings, a model trained on data from two hospitals has poorer worst group accuracy over both hospitals than a model trained on just a single hospital's data. This surprising result occurs even though the added hospital makes the training distribution more similar to the test distribution. We explain that this phenomenon arises from the spurious correlation that emerges between the disease and hospital, due to hospital-specific image artifacts. We highlight the trade-off one encounters when training on multiple datasets, between the obvious benefit of additional data and insidious cost of the introduced spurious correlation. In some cases, balancing the dataset can remove the spurious correlation and improve performance, but it is not always an effective strategy. We contextualize our results within the literature on spurious correlations to help explain these outcomes. Our experiments underscore the importance of exercising caution when selecting training data for machine learning models, especially in settings where there is a risk of spurious correlations such as with medical imaging. The risks outlined highlight the need for careful data selection and model evaluation in future research and practice.

研究の動機と目的

• 医療画像分野において、追加のデータセットを統合することが常にモデルの一般化性能を向上させるかどうかを調査すること。
• 誤った相関関係が原因でデータ追加によって性能が低下する条件を同定すること。
• データバランス化技術が、こうした低下を緩和する効果があるかどうかを評価すること。
• マルチソース医療AIにおけるデータ選択およびモデル評価のための実用的指針を提供すること。

提案手法

• 9つの疾患ラベルと4つの病院を対象に、単一病院と複数病院の胸部X線データセットで訓練されたモデルを、実験的に評価する。
• 病院間でのパフォーマンス格差を検出するために、最悪グループ精度を主な評価指標として用いる。
• アンダーサンプリングによるデータバランス化を実施し、病院と疾患の間の誤った相関を低減する。
• 明示的な教師信号なしに、モデルが病院固有の信号を学習しているかどうかを、学習済み表現の分析により評価する。
• Puliら（2022）の理論的ツールを用いて、バランス化が常に頑健なモデルを生み出すわけではない理由を説明する。
• 異なるモデルアーキテクチャーや訓練設定を比較することで、データソースの混合がもたらす影響を分離する。

Figure 1: High level overview of experiments. We study changes in worst-group accuracy (bold) when training on additional labelled data from an external hospital.

実験結果

リサーチクエスチョン

• RQ1 外部病院のデータを追加しても、胸部X線分類における最悪グループ精度が常に向上するのか？
• RQ2 病院固有の画像アーティファクトは、疾患ラベルとデータソースの間の誤った相関関係をどのように引き起こすのか？
• RQ3 アンダーサンプリングによるデータバランス化は、マルチソース学習に起因する性能低下を効果的に解消できるか？
• RQ4 どのような条件下で、マルチソース学習が単一ソース学習よりも一般化性能が悪化するのか？
• RQ5 モデルの表現が、明示的に訓練されていなくても、病院のアイデンティティをどのようにエンコードしているのか？

主な発見

• 評価された設定の43％において、2つの病院のデータで訓練したモデルは、単一病院のデータでの訓練よりも最悪グループ精度が低かった。
• 追加データが訓練分布をテスト分布に近づける場合でも、性能低下が発生した。これは、分布の類似性だけでは一般化が保証されないことを示している。
• マルチソースデータで訓練したモデルは、病院のアイデンティティを疾患予測のショートカットとして学習しており、訓練中に見なかった病院を完全に区別できる表現を学習していた。
• アンダーサンプリングによるデータバランス化は一部のケースで性能を向上させたが、マルチソース学習による性能低下が生じた43％の設定では、最悪グループ精度の向上に失敗した。
• バランス化は、単一ソースで学習した場合よりも良いパフォーマンスを保証せず、一部のケースでは、追加データを含めない場合よりも悪化する結果となった。
• 理論的分析により、バランス化が誤った相関問題に対して保証された解決策ではないことが確認された。特に、元のデータ分布が複雑な場合には顕著である。

Figure 2: Change in worst-group performance after including a second training dataset. We see both improvements in performance as expected, but also many deteriorations. For every element in the legend, the first dataset is the base environment, and the second is the added environment; for instance,