[論文レビュー] Autoencoders as Weight Initialization of Deep Classification Networks for Cancer versus Cancer Studies

Mafalda Falcão Ferreira, Rui Camacho+1 more|arXiv (Cornell University)|Jan 15, 2020

AI in cancer detection参考文献 9被引用数 5

ひとこと要約

本研究では、甲状腺、皮膚、胃がんの遺伝子発現データの分類において、深層ニューラルネットワークの事前学習手法としてノイズ除去オートエンコーダー（DAE）の有効性を評価している。完全に事前学習されたDAEを分類ネットワークにインポートし、すべての重みを微調整した結果、甲状腺がんの検出においてF1スコア98.04% ± 1.09を達成し、固定重み初期化を上回った。これは、この生物医学的分類タスクにおいてエンドツーエンドの微調整が有効であることを示している。

ABSTRACT

Cancer is still one of the most devastating diseases of our time. One way of automatically classifying tumor samples is by analyzing its derived molecular information (i.e., its genes expression signatures). In this work, we aim to distinguish three different types of cancer: thyroid, skin, and stomach. For that, we compare the performance of a Denoising Autoencoder (DAE) used as weight initialization of a deep neural network. Although we address a different domain problem in this work, we have adopted the same methodology of Ferreira et al.. In our experiments, we assess two different approaches when training the classification model: (a) fixing the weights, after pre-training the DAE, and (b) allowing fine-tuning of the entire classification network. Additionally, we apply two different strategies for embedding the DAE into the classification network: (1) by only importing the encoding layers, and (2) by inserting the complete autoencoder. Our best result was the combination of unsupervised feature learning through a DAE, followed by its full import into the classification network, and subsequent fine-tuning through supervised training, achieving an F1 score of 98.04% +/- 1.09 when identifying cancerous thyroid samples.

研究の動機と目的

• 深層学習におけるがん分類の重み初期化戦略として、ノイズ除去オートエンコーダー（DAE）の有効性を評価すること。
• 2つの学習アプローチを比較すること：事前学習済みDAE重みを固定する方法と、初期化後にネットワーク全体を微調整する方法。
• 2つの埋め込み戦略を評価すること：分類ネットワークに符号化層のみを用いる方法と、オートエンコーダー全体（符号化および復元層）を用いる方法。
• DAEを用いた教師なし事前学習が、甲状腺、皮膚、胃がんの遺伝子発現データにおける分類性能を向上させるかどうかを検証すること。
• DAE事前学習による性能向上が、異なるがん種類および学習戦略において一貫しているかどうかを調査すること。

提案手法

• The Cancer Genome Atlas（TCGA）の遺伝子発現データを用いて、平均二乗誤差（MSE）損失を最小化するように、ノイズ除去オートエンコーダー（DAE）を事前学習した。
• 事前学習済みDAEの重みを、分類用の深層順方向ニューラルネットワークの上位層に初期化するために使用した。
• 2つの戦略を評価した：(1) DAEの符号化層のみをインポートする方法、(2) DAE全体（符号化および復元層）をインポートする方法。
• 分類ネットワークの学習には2つのアプローチを用いた：(a) 初期化後にDAE重みを固定する方法、(b) 監視学習中にすべての重みを微調整する方法。
• 性能評価のため、損失、正解率、適合率、再現率、F1スコアを指標として用い、5分割のストラティファイド交差検証を実施した。
• 各フォールドでF1スコアに基づいて最良のモデルを選択し、平均値と標準偏差を報告した。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去オートエンコーダー（DAE）を事前学習手法として用いることで、がんサブタイプの遺伝子発現データの分類性能が向上するか？
• RQ2 DAE事前学習後にネットワーク全体を微調整することは、事前学習済み重みを固定するのよりも効果的か？
• RQ3 符号化および復元層を含めた完全なDAEをインポートすることは、符号化層のみをインポートするのよりも優れた結果をもたらすか？
• RQ4 甲状腺、皮膚、胃がんという異なるがん種類において、DAEベースの初期化の性能はどのように比較されるか？
• RQ5 DAEを用いた教師なし事前学習が、がん分類に生物学的に関連する特徴をどれだけ適切に捉えているか？

主な発見

• DAE事前学習後にネットワーク全体を微調整した結果、事前学習済み重みを固定した場合と比較して、F1スコアが10–20%向上した。これは、先行研究とは対照的な結果であった。
• 最も高い性能は、完全に事前学習済みDAEをインポートし、すべての重みを微調整した場合に達成され、甲状腺がん検出のF1スコアは98.04% ± 1.09を記録した。
• 皮膚がんでは、完全なDAEと微調整を用いた場合、F1スコアが97.81% ± 1.76に達した。胃がんでは95.63% ± 3.23に達した。
• DAEの符号化層のみを用いたモデルは、全がん種類で低い性能を示し、甲状腺がんの最良F1スコアは97.79% ± 1.13であった。
• 結果から、完全なDAEの統合と微調整が最適性能を達成するために不可欠であることが示された。これは、復元層がより良い特徴表現に寄与している可能性を示唆している。
• 強力な性能を示したが、本研究では、DAE事前学習が全がん種類で一貫して最も関連性の高い生物学的特徴を捉えているという明確な証拠は得られなかった。これは、検証曲線の挙動が一貫性のないことを示唆している。