[論文レビュー] TRk-CNN: Transferable Ranking-CNN for image classification of glaucoma, glaucoma suspect, and normal eyes

Tae Joon Jun, Youngsub Eom+5 more|arXiv (Cornell University)|May 16, 2019

Retinal Imaging and Analysis参考文献 37被引用数 4

ひとこと要約

本稿では、疾患の進行段階間の順序関係をモデル化することで、緑内障、緑内障疑い、正常な眼の分類を向上させる、移譲可能な順序付け畳み込みニューラルネットワークであるTRk-CNNを提案する。基本分類スコアと学習された重みを組み合わせることで、TRk-CNNは92.96%の平均正答率を達成し、標準的な多クラスCNNおよびRanking-CNNと比べてそれぞれ8.04%および9.54%高い性能を示し、緑内障疑いの感度は26.83%向上した。

ABSTRACT

In this paper, we proposed Transferable Ranking Convolutional Neural Network (TRk-CNN) that can be effectively applied when the classes of images to be classified show a high correlation with each other. The multi-class classification method based on the softmax function, which is generally used, is not effective in this case because the inter-class relationship is ignored. Although there is a Ranking-CNN that takes into account the ordinal classes, it cannot reflect the inter-class relationship to the final prediction. TRk-CNN, on the other hand, combines the weights of the primitive classification model to reflect the inter-class information to the final classification phase. We evaluated TRk-CNN in glaucoma image dataset that was labeled into three classes: normal, glaucoma suspect, and glaucoma eyes. Based on the literature we surveyed, this study is the first to classify three status of glaucoma fundus image dataset into three different classes. We compared the evaluation results of TRk-CNN with Ranking-CNN (Rk-CNN) and multi-class CNN (MC-CNN) using the DenseNet as the backbone CNN model. As a result, TRk-CNN achieved an average accuracy of 92.96%, specificity of 93.33%, sensitivity for glaucoma suspect of 95.12% and sensitivity for glaucoma of 93.98%. Based on average accuracy, TRk-CNN is 8.04% and 9.54% higher than Rk-CNN and MC-CNN and surprisingly 26.83% higher for sensitivity for suspicious than multi-class CNN. Our TRk-CNN is expected to be effectively applied to the medical image classification problem where the disease state is continuous and increases in the positive class direction.

研究の動機と目的

• 標準的な多クラスCNNが、正常、緑内障疑い、緑内障といった医療画像のクラス間の順序関係をモデル化できないという限界を解決すること。
• 疾患状態が連続的に進行する医療画像分類タスクにおいて、分類性能を向上させること。
• 既存のRanking-CNNアプローチの欠陥を克服し、最終予測段階にクラス間の関係を効果的に組み込む方法を開発すること。
• 高麗大学病院から収集した新規の3クラスの緑内障後眼部画像データセットを用いて、TRk-CNNの有効性を示すこと。

提案手法

• TRk-CNNは2段階のパイプラインを採用：N−1個のバイナリ分類器を用いてクラス間の順序関係を予測する。
• 各基本分類器は、視乳頭や杯領域のような特徴的な領域を局在化するためのクラス活性化マップ（CAM）を生成する。
• モデルは、すべての基本分類器の予測を、クラス間の順序情報を保持するように学習された重み付き融合によって集約する。
• 特徴抽出にDenseNetバックボーンを用い、バイナリサブクラス分類器から全結合層を削除することで空間局在化を維持する。
• 最終的な分類スコアは、基本分類器出力の重み付き和として計算され、誤差逆伝播を用いたエンドツーエンド学習が可能になる。
• 本手法は、正常、緑内障疑い、緑内障という臨床的に重要な3クラスを有する実世界の後眼部画像データセット上で訓練および評価された。

実験結果

リサーチクエスチョン

• RQ1 疾患段階間の順序関係を明示的にモデル化する深層学習モデルが、医療画像解析における分類性能を向上させることができるか？
• RQ2 3段階の進行的段階を持つ緑内障の分類において、TRk-CNNは標準的な多クラスCNNおよびRanking-CNNと比べてどのように差をつけるか？
• RQ3 学習された重み付き融合によるクラス間関係の組み込みが、緑内障疑いのような中間疾患状態の感度をどの程度向上させるか？
• RQ4 本手法は、視乳頭、杯、および元の後眼部領域といった異なる領域の注目領域（ROI）においても一般化性を示すか？
• RQ5 臨床的に意味のある3クラスラベルを有する実世界の緑内障後眼部データセットにおいて、TRk-CNNは優れた性能を達成できるか？

主な発見

• TRk-CNNは平均正答率92.96%を達成し、Rk-CNN（84.92%）およびMC-CNN（83.42%）と比べてそれぞれ8.04ポイントおよび9.54ポイント高い性能を示した。
• 緑内障疑いの分類における感度は95.12%に達し、多クラスCNNベースラインに比べ26.83%向上した。
• 特異度は93.33%であり、非疾患例を正しく同定する強力な性能を示した。
• モデルは、深層畳み込み層でさえも視乳頭および杯領域で強力な特徴活性化を示し、疾患関連解剖学的領域の効果的な局在化を確認した。
• 可視化結果から、モデルは手動でアノテートされた視乳頭領域のみを基にしても、病理的領域（例えば杯）を自動的に強調していることが示された。
• 最も優れた性能を示すサブモデルが、必ずしも最終的な結果を最も良くするとは限らず、最終分類段階におけるアンサンブル重み付けの重要性が浮き彫りになった。