[論文レビュー] The relationship between Fully Connected Layers and number of classes for the analysis of retinal images

Ajna Ram, Constantino Carlos Reyes‐Aldasoro|arXiv (Cornell University)|Apr 7, 2020

Retinal Imaging and Analysis参考文献 11被引用数 14

ひとこと要約

本研究では、OIR-2019データセットの網膜被膜画像における分類性能に、畳み込みニューラルネットワーク（CNN）内の完全結合（FC）層の数が与える影響を調査する。4つのクラス（正常、白内障、加齢性黄斑変性症（AMD）、飛蚊症）に焦点を当て、複雑で重複するデータではFC層を増やすと性能が低下し、ネットワークがしばしば単一クラスの予測に収束することが判明。一方、単純で線形分離可能なデータでは追加のFC層が性能向上に寄与する可能性がある。

ABSTRACT

This paper experiments with the number of fully-connected layers in a deep convolutional neural network as applied to the classification of fundus retinal images. The images analysed corresponded to the ODIR 2019 (Peking University International Competition on Ocular Disease Intelligent Recognition) [9], which included images of various eye diseases (cataract, glaucoma, myopia, diabetic retinopathy, age-related macular degeneration (AMD), hypertension) as well as normal cases. This work focused on the classification of Normal, Cataract, AMD and Myopia. The feature extraction (convolutional) part of the neural network is kept the same while the feature mapping (linear) part of the network is changed. Different data sets are also explored on these neural nets. Each data set differs from another by the number of classes it has. This paper hence aims to find the relationship between number of classes and number of fully-connected layers. It was found out that the effect of increasing the number of fully-connected layers of a neural networks depends on the type of data set being used. For simple, linearly separable data sets, addition of fully-connected layer is something that should be explored and that could result in better training accuracy, but a direct correlation was not found. However as complexity of the data set goes up(more overlapping classes), increasing the number of fully-connected layers causes the neural network to stop learning. This phenomenon happens quicker the more complex the data set is.

研究の動機と目的

• 網膜画像解析における畳み込みニューラルネットワーク（CNN）の完全結合（FC）層の数と分類精度の関係を分析すること。
• クラス数と重複の程度で測定されるデータの複雑さが、追加のFC層の有効性に与える影響を評価すること。
• FC層を増やすことで特徴マッピングが向上するか、あるいは深層ネットワークにおける学習の不安定性を引き起こすかを特定すること。
• 2クラス（NC）、3クラス（NCA）、4クラス（NCAM）の異なるクラス数を有する複数のデータサブセットにおいて、ネットワーク性能を比較すること。
• 特にAMDや飛蚊症のような難易度の高いクラスに対して、網膜疾患分類の最適なFC層構成を同定すること。

提案手法

• 同一の畳み込み特徴抽出器を搭載した複数のCNNアーキテクチャを、網膜画像データに対して、完全結合（FC）層の数（2〜6層）を変化させながら訓練した。
• ODIR-2019データセットを用い、正常、白内障、加齢性黄斑変性症（AMD）、飛蚊症の4クラスに限定した。
• 3つのデータ分割（NC：2クラス、NCA：3クラス、NCAM：4クラス）を評価し、それぞれ異なるクラス分離性を有していた。
• 標準指標（正解率、適合率、再現率、F1スコア、真陽性・真陰性・偽陽性・偽陰性の数）を用いて性能を測定した。
• 収束状態や単一クラス予測の異常をモニタリングし、ネットワークの崩壊を検出するための訓練行動を観察した。
• 複数回の実行における平均正解率とクラスごとの指標を報告し、結果の信頼性を確保した。

実験結果

リサーチクエスチョン

• RQ1 網膜画像分類のCNNにおいて、完全結合層の数を増やすと分類精度にどのように影響するか？
• RQ2 追加のFC層の性能への影響は、データの複雑さやクラスの重複度に応じて変化するか？
• RQ3 追加のFC層がモデル性能を劣化させたり、学習不能に陥るようになるのはどの段階か？
• RQ4 非線形分離不可能な網膜疾患クラスに対して、より多くのFC層が特徴マッピングを改善できるか？
• RQ5 一部のネットワークが訓練中に単一クラスに予測に収束するのはなぜか？これはFC層の数とデータの複雑さとどのように関連しているか？

主な発見

• 2クラスのNCデータセット（正常対白内障）は線形分離可能であるため、FC層を増やしても性能に悪影響がなく、訓練正解率は高い水準を維持（NN-2で最大81.3％）。
• 3クラスのNCAデータセット（正常、白内障、AMD）では、最良の性能を示したのはNN-2（2FC層）で、平均正解率は0.858であった。一方、FC層を増やしたネットワーク（例：NN-3、NN-4）は顕著に低い性能を示した。
• 4クラスのNCAMデータセット（正常、白内障、AMD、飛蚊症）では、NN-2が最高の平均正解率0.883を達成したが、NN-3、NN-4、NN-6は単一クラス予測に収束し、正解率はたったの25％にまで低下した。
• FC層が増加したネットワーク（特にNN-3、NN-4、NN-6）は著しい訓練の不安定性を示し、頻繁に1つのクラスにのみ予測を行うなど、クラスの区別が学習できていないことが判明。
• NN-5はNCAMで53％の正解率を示したが、白内障の適合率（0.948）と再現率（0.702）は高く、正常、AMD、飛蚊症のクラスでは一般化性能が著しく低いことが示された。
• FC層の数と正解率の間に明確な相関は認められなかったが、複雑で重複するデータではFC層の増加が性能を一貫して低下させ、クラスの複雑さが高くなるほど崩壊が急速に進行することが観察された。