[論文レビュー] Learn like a Pathologist: Curriculum Learning by Annotator Agreement for Histopathology Image Classification

Jerry Wei, Arief A. Suriawinata+11 more|arXiv (Cornell University)|Sep 29, 2020

AI in cancer detection参考文献 40被引用数 7

ひとこと要約

本稿では、ヒストパスロジー画像分類のためのカリキュラム学習法を提案する。この手法は、例の難易度の代理指標として被検査者間一致度を用い、徐々に複雑な画像に段階的に訓練を行う。結腸直腸ポリープ分類タスクにおいて、AUCはベースラインの83.7%から88.2%に向上し、平均病理医の性能を上回った。

ABSTRACT

Applying curriculum learning requires both a range of difficulty in data and a method for determining the difficulty of examples. In many tasks, however, satisfying these requirements can be a formidable challenge. In this paper, we contend that histopathology image classification is a compelling use case for curriculum learning. Based on the nature of histopathology images, a range of difficulty inherently exists among examples, and, since medical datasets are often labeled by multiple annotators, annotator agreement can be used as a natural proxy for the difficulty of a given example. Hence, we propose a simple curriculum learning method that trains on progressively-harder images as determined by annotator agreement. We evaluate our hypothesis on the challenging and clinically-important task of colorectal polyp classification. Whereas vanilla training achieves an AUC of 83.7% for this task, a model trained with our proposed curriculum learning approach achieves an AUC of 88.2%, an improvement of 4.5%. Our work aims to inspire researchers to think more creatively and rigorously when choosing contexts for applying curriculum learning.

研究の動機と目的

• ニューラルネットワークの学習における適切な難易度順序の特定という課題に取り組むこと、特に難易度順序が明確でない医療画像分野においてその課題を解決すること。
• 疾患の進行的進行と複数の被検査者によるラベル付けという特徴から、ヒストパスロジー画像分類がカリキュラム学習に自然に適合するかどうかを検討すること。
• モデルアーキテクチャの変更を必要とせず、単純かつ実装可能なカリキュラム学習法を提案・評価すること。この手法では被検査者間一致度を難易度の代理指標として用いる。
• 臨床的に重要で診断的に困難なタスクである結腸直腸ポリープ分類において、このアプローチがモデル性能を向上させることを示すこと。

提案手法

• ヒストパスロジー画像を被検査者間一致度でランク付けし、高い一致度を示す画像を易しい例とし、低い一致度を示す画像を難しい例とする。
• 訓練は段階的に行い、最初に被検査者間一致度が高かった画像（最も易しい）から始め、徐々に一致度が低い画像（より難しい）を後続の段階に追加する。
• 本手法はモデルアーキテクチャの変更を一切必要とせず、既存の被検査者ラベルに依存するため、複数の病理医によるラベルが付与されたデータセットに容易に適用可能である。
• 著者らは、AUCを主評価指標として用い、本手法を2つの先行する難易度スコアリング手法（信頼度ベースと自己定義のハード/イージー分割）と比較した。
• 7名の病理医によるラベルに基づき、被検査者間一致度を4段階に分類することでカリキュラムの段階を定義し、ホールドアウトされたテストセットで性能を評価した。
• 本手法は718枚の画像を含む結腸直腸ポリープ分類データセットで評価され、ResNet-50バックボーンと標準的な訓練プロトコルが用いられた。

実験結果

リサーチクエスチョン

• RQ1 ヒストパスロジー画像ラベリングにおける被検査者間一致度は、カリキュラム学習における例の難易度の信頼できる代理指標として機能するか？
• RQ2 被検査者間一致度に基づくカリキュラム学習は、標準的な訓練と比較して、困難なヒストパスロジー画像分類タスクでの性能を向上させるか？
• RQ3 本手法は、以前に提案された難易度スコアリング手法と比較して、どの程度の性能向上を達成するか？
• RQ4 カリキュラム学習による性能向上は、臨床的に意味のあるものであるか、特に病理医レベルの性能と比較してその意義は何か？
• RQ5 被検査者間一致度の段階数が、性能向上の大きさに影響を与えるか？

主な発見

• 提案されたカリキュラム学習手法は、結腸直腸ポリープ分類タスクでAUC 88.2%を達成し、ベースラインモデルのAUC 83.7%から4.5ポイント向上した。
• 本手法は、同じテストセットにおいて平均病理医被検査者よりもCohen’s kappaの観点で優れた汎化性能と一貫性を示した。
• 4段階の被検査者間一致度分類では4.5%のAUC向上が得られたが、2段階の粗い一致度スキームでは僅か1.5%の向上にとどまり、より細かく難易度をランク付けすることで性能向上が顕著に向上することが示された。
• カリキュラム学習による性能向上は、臨床的に意味のある向上に繋がり、この手法で訓練されたモデルが診断意思決定支援に貢献できる可能性を示唆している。
• 疾患の自然な進行的進行と豊富な複数被検査者ラベルデータの存在から、ヒストパスロジー画像分類はカリキュラム学習に非常に適していると考えられる。
• 本手法は単純で、モデルの変更を要せず、容易に入手可能な被検査者間一致度データを活用するため、同様の医療画像分類タスクに広く適用可能である。