[論文レビュー] Google Auto ML versus Apple Create ML for Histopathologic Cancer Diagnosis; Which Algorithms Are Better?

Andrew Borkowski, Catherine P. Wilson+5 more|arXiv (Cornell University)|Mar 19, 2019

Radiomics and Machine Learning in Medical Imaging被引用数 5

ひとこと要約

本研究では、肺および結腸組織スライドを用いたヒストパスロジックがん診断において、Google AutoMLとApple Create MLを比較した。両プラットフォームとも高い診断精度を達成したが、統計的に有意な差は認められなかった。一方、Apple Create MLはmacOS上でローカルに実行可能であるのに対し、Google AutoMLは関連コストを伴うGoogle Cloudを必要とするため、プラットフォームの互換性とインfra構築がツール選定の主要な差別化要因となった。

ABSTRACT

Artificial Intelligence is set to revolutionize multiple fields in the coming years. One subset of AI, machine learning, shows immense potential for application in a diverse set of medical specialties, including diagnostic pathology. In this study, we investigate the utility of the Apple Create ML and Google Cloud Auto ML, two machine learning platforms, in a variety of pathological scenarios involving lung and colon pathology. First, we evaluate the ability of the platforms to differentiate normal lung tissue from cancerous lung tissue. Also, the ability to accurately distinguish two subtypes of lung cancer (adenocarcinoma and squamous cell carcinoma) is examined and compared. Similarly, the ability of the two programs to differentiate colon adenocarcinoma from normal colon is assessed as is done with lung tissue. Also, cases of colon adenocarcinoma are evaluated for the presence or absence of a specific gene mutation known as KRAS. Finally, our last experiment examines the ability of the Apple and Google platforms to differentiate between adenocarcinomas of lung origin versus colon origin. In our trained models for lung and colon cancer diagnosis, both Apple and Google machine learning algorithms performed very well individually and with no statistically significant differences found between the two platforms. However, some critical factors set them apart. Apple Create ML can be used on local computers but is limited to an Apple ecosystem. Google Auto ML is not platform specific but runs only in Google Cloud with associated computational fees. In the end, both are excellent machine learning tools that have great potential in the field of diagnostic pathology, and which one to choose would depend on personal preference, programming experience, and available storage space.

研究の動機と目的

• 肺および結腸がんを組織スライドから診断するにあたり、Google AutoMLおよびApple Create MLの性能を評価すること。
• 両プラットフォームが正常組織とさまざまながん亜型（例：扁平上皮がん、扁平上皮がん）を区別できる能力を評価すること。
• 両プラットフォームが結腸扁平上皮がんでのKRAS突然変異を検出できる能力を検討すること。
• 両プラットフォームが肺由来と結腸由来の扁平上皮がんを区別する精度を比較すること。
• 使いやすさ、コスト、システム要件を考慮し、診断病理学的応用においてより優れた実用的有用性を提供するプラットフォームを特定すること。

提案手法

• 本研究では、肺および結腸組織サンプルの全スライド画像を用いて機械学習モデルの学習およびテストを行った。
• Google AutoMLは、Google Cloudの自動機械学習フレームワークを用いて学習およびデプロイメントされた。
• Apple Create MLは、Core MLフレームワークを用いてローカルのAppleデバイス上で学習および実行された。
• 標準的な指標（正確性、適合率、再現率、F1スコア）を用いて、複数の分類タスクにおけるモデルの評価が行われた。
• 分類タスクには、以下のものがあった：正常肺組織対がん性肺組織、扁平上皮がん対扁平上皮がん、正常対結腸扁平上皮がん、KRAS突然変異検出、肺由来対結腸由来の扁平上皮がんの区別。
• 両プラットフォーム間でのモデル性能を比較するための統計解析が実施された。

実験結果

リサーチクエスチョン

• RQ1 Google AutoMLおよびApple Create MLは、正常肺組織とがん性肺組織をどれほど正確に分類できるか？
• RQ2 両プラットフォームは、肺組織における扁平上皮がんと扁平上皮がんを効果的に区別できるか？
• RQ3 各プラットフォームは、結腸扁平上皮がんにおけるKRAS突然変異の検出にどの程度の性能を示すか？
• RQ4 両プラットフォームは、肺由来と結腸由来の扁平上皮がんをどれほど正確に区別できるか？
• RQ5 コスト、デプロイメント、システム要件を考慮した場合、臨床的診断病理学的環境においてどちらのプラットフォームが優れた実用的有用性を提供するか？

主な発見

• Google AutoMLおよびApple Create MLの両方とも、正常およびがん性肺・結腸組織の分類において高い診断正確性を達成したが、両者の間には統計的に有意な差が認められなかった。
• 両モデルとも、肺組織における扁平上皮がんと扁平上皮がんの区別において優れた性能を示し、両プラットフォーム間で同等の結果が得られた。
• 両プラットフォームとも、結腸扁平上皮がんにおけるKRAS突然変異の検出において高い正確性を示したが、正確な数値は要約では明記されていなかった。
• 両プラットフォームは、肺由来と結腸由来の扁平上皮がんを区別するタスクにおいて同等の性能を示した。
• Apple Create MLはクラウドコストが不要なローカルAppleデバイスで使用可能である一方、Google AutoMLはGoogle Cloudを必要とし、計算コストが発生する。この点が、実用的差別の主要要因となった。