[論文レビュー] The Data Addition Dilemma

Judy Hanwen Shen, Inioluwa Deborah Raji+1 more|arXiv (Cornell University)|Aug 8, 2024

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

本論文は、データスケーリング中に多様な医療ソースからのデータを追加しても、分布シフトのため性能が低下する可能性があるという『データ追加ジレンマ』を提示する。これは、データ量が増加しても成り立つ。本論文は、分布シフトのヒューリスティクスを提案し、新たなデータが有害な統計的シフトをもたらすとモデルの正確性が低下することを示し、医療MLシステムにおけるデータ追加が性能向上または低下をもたらすかどうかを予測する形式的フレームワークを提供する。

ABSTRACT

In many machine learning for healthcare tasks, standard datasets are constructed by amassing data across many, often fundamentally dissimilar, sources. But when does adding more data help, and when does it hinder progress on desired model outcomes in real-world settings? We identify this situation as the extit{Data Addition Dilemma}, demonstrating that adding training data in this multi-source scaling context can at times result in reduced overall accuracy, uncertain fairness outcomes, and reduced worst-subgroup performance. We find that this possibly arises from an empirically observed trade-off between model performance improvements due to data scaling and model deterioration from distribution shift. We thus establish baseline strategies for navigating this dilemma, introducing distribution shift heuristics to guide decision-making on which data sources to add in data scaling, in order to yield the expected model performance improvements. We conclude with a discussion of the required considerations for data collection and suggestions for studying data composition and scale in the age of increasingly larger models.

研究の動機と目的

• 複数のデータソースを統合する医療MLにおけるデータスケーリングの課題を形式化し、データ量の増加にもかかわらず分布シフトのためモデル性能が低下する要因を明らかにすること。
• 現実の臨床環境において、新たなデータソースを追加しても性能が向上せず劣化する状況を特定すること。
• データソース間の分布的変化を考慮した実用的ヒューリスティクスを構築し、期待される性能向上を実現すること。

提案手法

• 複数のデータソースを統合する学習データにおける性能向上の利点と分布シフトによる性能低下のトレードオフとして、『データ追加ジレンマ』を形式化する。
• f-発散（例：カルバック・ライブーラー発散）を用いて、訓練データとテストデータ間の分布的シフトを定量化する。
• f-発散の凸性とジェンセンの不等式を用いて理論的条件を導出し、新たなデータソースを追加してもモデル性能が向上するか劣化するかを判断する。
• ヒューリスティクスを提案：新たなデータソースは、そのテスト分布からの発散が、全体の訓練分布およびデータ構成に依存する閾値を超える場合にのみ追加すべきである。
• 実世界のICUデータセット（複数の病院から収集）を用いてヒューリスティクスを実証的に検証し、段階的なデータ追加におけるモデル性能を比較する。
• データスケールとデータ構成のバランスを取るフレームワークを導入し、実務者がどのデータソースを含めるかを意思決定できるようにする。

Figure 1: Our work introduces the Data Addition Dilemma , where, in a multi-source scaling context, an increase in training dataset size can unexpectedly lead to worse downstream model performance outcomes due to acquired distribution shift.

実験結果

リサーチクエスチョン

• RQ1 追加の医療ソースからのデータ追加が、訓練データ量の増加にもかかわらずモデル性能を低下させる条件は何か？
• RQ2 多様なデータソース間の分布シフトが、医療MLにおけるモデルの正確性、公平性、最悪グループ性能に与える影響は何か？
• RQ3 複数のデータソースを用いたスケーリングにおいて、新たなデータソースを追加しても性能向上または低下を判断する形式的基準は導けるか？
• RQ4 データ構成の変化が、現実の医療応用におけるデータスケーリングの期待される利点を損なう役割を果たすメカニズムは何か？
• RQ5 分布シフトの影響を受ける中で、実務者がモデル性能の維持または向上を図るためのデータ追加意思決定をどう行うべきか？

主な発見

• 新たな分布外のデータソースからのデータ追加は、データ量が増加しても、分布シフトのため全体のモデル正確性を低下させる可能性がある。
• 本論文は、データスケーリングによる性能向上と分布シフトによる性能低下のトレードオフを特定し、これが『データ追加ジレンマ』の本質をなしていることを明らかにした。
• f-発散の閾値に基づく提案されたヒューリスティクスは、新たなデータソースがモデル性能を向上させるか劣化させるかを的確に予測できた。
• 全体の正確性が向上しても、最悪のサブグループにおけるモデル性能は、新たなデータソースを追加すると低下する傾向がある。
• 複数の病院から得た実世界のICUデータセットを用いた実証的検証から、データ追加の意思決定がモデルの結果に顕著な影響を与えることが示された。一部のデータソースは顕著な性能劣化を引き起こした。
• 本研究は、スケーリング過程におけるデータ構成の変化が、医療MLモデル開発において極めて重要だが、あまりに軽視されている要因であることを示した。

Figure 2: We illustrate the Data Addition Dilemma . After hospital 443 has exhausted its in-distribution training data, we can consider adding training data from any of the 11 available hospitals in the eICU dataset. The addition of any available hospital data source can lead to uncertain outcomes a