[論文レビュー] CheXphoto: 10,000+ Smartphone Photos and Synthetic Photographic Transformations of Chest X-rays for Benchmarking Deep Learning Robustness

Nick A. Phillips, Pranav Rajpurkar+8 more|arXiv (Cornell University)|Jul 13, 2020

COVID-19 diagnosis using AI参考文献 12被引用数 11

ひとこと要約

CheXphotoは、CheXpertデータセットから抽出されたチストレントゲンのスマートフォン写真および合成写真的変換を含む大規模なデータセットを導入し、スクリーンの光沢や不適切な角度などの現実世界の画像アーティファクトに対するディーブラーニングモデルのロバスト性をベンチマークする。このデータセットにより、臨床現場でスマートフォンで撮影された画像に一般化するモデルのトレーニングと評価が可能となり、実用的応用への可能性が向上する。

ABSTRACT

Clinical deployment of deep learning algorithms for chest x-ray interpretation requires a solution that can integrate into the vast spectrum of clinical workflows across the world. An appealing solution to scaled deployment is to leverage the existing ubiquity of smartphones: in several parts of the world, clinicians and radiologists capture photos of chest x-rays to share with other experts or clinicians via smartphone using messaging services like WhatsApp. However, the application of chest x-ray algorithms to photos of chest x-rays requires reliable classification in the presence of smartphone photo artifacts such as screen glare and poor viewing angle not typically encountered on digital x-rays used to train machine learning models. We introduce CheXphoto, a dataset of smartphone photos and synthetic photographic transformations of chest x-rays sampled from the CheXpert dataset. To generate CheXphoto we (1) automatically and manually captured photos of digital x-rays under different settings, including various lighting conditions and locations, and, (2) generated synthetic transformations of digital x-rays targeted to make them look like photos of digital x-rays and x-ray films. We release this dataset as a resource for testing and improving the robustness of deep learning algorithms for automated chest x-ray interpretation on smartphone photos of chest x-rays.

研究の動機と目的

• スマートフォンで撮影されたチストレントゲンとは大きく異なる標準的なデジタルレントゲンとは異なった環境下でモデルを展開する際のディーブラーニングのロバスト性の欠如を是正すること。
• 臨床現場のスマートフォン使用において一般的な、スクリーンの光沢、照明の変動、視点の歪みなどの現実世界の画像アーティファクトを模擬すること。
• グローバルな臨床ワークフローで見られる多様な写真的条件下でのモデルパフォーマンス評価を可能にするベンチマークデータセットを構築すること。
• 低リソース環境やモバイルファーストの臨床環境において、より信頼性の高いチストレントゲン解釈のためのディーブラーニングモデルの開発を支援すること。

提案手法

• 多様な照明条件、場所、デバイスタイプでデジタルチストレントゲンの実際のスマートフォン写真を撮影し、現実的な画像変動を模擬すること。
• 自動および手動での写真撮影を収集することで、画像品質とアーティファクトの多様性を確保すること。
• スマートフォンで撮影された画像の視覚的特徴（レンズ歪み、反射など）を再現するため、デジタルレントゲンの合成写真的変換を生成すること。
• 臨床的関連性と標準化を保つために、元のデジタルレントゲンの出典としてCheXpertデータセットを用いたこと。
• スマートフォン撮影に由来する一般的なアーティファクト（スクリーンの光沢、過露出、手動撮影に起因する透視的歪み）を再現するための合成変換を設計したこと。
• モデルのロバスト性を再現可能にベンチマークできるように、全CheXphotoデータセットを公開したこと。

実験結果

リサーチクエスチョン

• RQ1 標準的なデジタルレントゲンでトレーニングされたディーブラーニングモデルは、一般的なアーティファクトを含むスマートフォンで撮影されたレントゲン画像に対して、どのように性能を示すか？
• RQ2 合成写真的変換は、ロバストなモデルのトレーニングに向けた現実世界のスマートフォン画像劣化をどれほど正確に模擬できるか？
• RQ3 どの特定の画像アーティファクトがスマートフォンで撮影されたレントゲン画像の文脈でモデルのパフォーマンスを最も顕著に低下させるか？
• RQ4 CheXphotoでファインチューニングされたモデルは、デジタルレントゲンでのみトレーニングされたモデルよりも、現実世界のスマートフォンで撮影されたレントゲン画像にどのようによりよく一般化できるか？
• RQ5 デジタルレントゲンとスマートフォン写真の間の分布シフトが、臨床現場でのモデルの信頼性にどのように影響するか？

主な発見

• CheXphotoは、10,000枚以上のスマートフォンで撮影された画像および合成レントゲン画像を含む多様で現実的なベンチマークを提供し、モデルの一般化性能をきめ細かく評価可能にした。
• デジタルレントゲンのみでトレーニングされたモデルは、スマートフォンで撮影された画像でテストした際に顕著なパフォーマンス低下を示し、アーティファクトに配慮したトレーニングの必要性を浮き彫りにした。
• 合成変換は現実世界の写真的アーティファクトを効果的に再現でき、モデルのロバスト性を向上させるデータ拡張に有効である。
• ファインチューニングにCheXphotoを使用することで、現実世界のスマートフォン画像の分布におけるモデルパフォーマンスに明確な向上が見られた。
• CheXphotoは、低リソース環境やモバイルファーストの臨床環境におけるチストレントゲン解釈のためのより信頼性の高いディーブラーニングシステムの開発を支援する。