[論文レビュー] Deep Transparent Prediction through Latent Representation Analysis

Dimitrios Kollias, N. Bouas+7 more|arXiv (Cornell University)|Sep 13, 2020

Generative Adversarial Networks and Image Synthesis参考文献 33被引用数 39

ひとこと要約

新規フレームワークは、訓練済みDNNから潜在表現を抽出し、それらを簡潔な中心点にクラスタリングして透明で統一的な予測を実現し、パーキンソン病、COVID-19の画像診断、及び小売包装の品質検査を跨る多源ドメイン適応へ拡張します。

ABSTRACT

The paper presents a novel deep learning approach, which extracts latent information from trained Deep Neural Networks (DNNs) and derives concise representations that are analyzed in an effective, unified way for prediction purposes. It is well known that DNNs are capable of analyzing complex data; however, they lack transparency in their decision making, in the sense that it is not straightforward to justify their prediction, or to visualize the features on which the decision was based. Moreover, they generally require large amounts of data in order to learn and become able to adapt to different environments. This makes their use difficult in healthcare, where trust and personalization are key issues. Transparency combined with high prediction accuracy are the targeted goals of the proposed approach. It includes both supervised DNN training and unsupervised learning of latent variables extracted from the trained DNNs. Domain Adaptation from multiple sources is also presented as an extension, where the extracted latent variable representations are used to generate predictions in other, non-annotated, environments. Successful application is illustrated through a large experimental study in various fields: prediction of Parkinson's disease from MRI and DaTScans; prediction of COVID-19 and pneumonia from CT scans and X-rays; optical character verification in retail food packaging.

研究の動機と目的

• Healthcare その他の領域でDNNからの透明で正確な予測の必要性を動機づける。
• 訓練済みDNNから潜在変数を抽出し、それを簡潔で解釈可能な表現に変換する方法を開発する。
• 潜在表現をクラスタリングし最近傍決定規則を用いて統一予測モデルを作成する。
• 追加データセットからのV_s表現を用いて新しいDNNを訓練し、CとC'を統合して破局的忘却に対処することで統一モデルを作成する。
• パーキンソン病のMRI/DaTスキャン、COVID-19検出のCT/ X線画像、食品包装の光学文字検証に対してフレームワークを実証する。

提案手法

• 画像データから疾病状態を予測するCNNまたはCNN-RNNを訓練する。
• 最後の全結合層または隠れ層からの高レベル出力を潜在ベクトルvとして抽出する。
• V_sに対してk-meansクラスタリングを適用し、Cを形成する簡潔な表現となるL個のクラスタと中心点c(i)を得る。
• 新しいサンプルをCの最も近いクラスタ中心点で分類し、対応する視覚サポート/アノテーションとともに効率的で透明な予測を実現する。
• 追加データセットからのV_s表現で新しいDNNを訓練し、CとC'を統合して破局的忘却に対処することで統一モデルへ拡張する。
• 多源DA拡張では、Nソース間で特徴量のずれ（MMDとCORAL）とクラスのずれを最小化し、解釈性のためのCAMビジュアライゼーションを用いる。

実験結果

リサーチクエスチョン

• RQ1 訓練済みDNNから抽出された潜在表現を、予測のために簡潔で解釈可能な表現へどのように変換できるか。
• RQ2 潜在特徴をクラスタリングし最近傍決定を用いて複数データセットに対して統一的で透明な予測モデルを構築できるか。
• RQ3 複数のラベル付きソースからのドメイン適応は、非アノテートな新しい環境での予測に有効か。
• RQ4 得られたクラスタ中心の表現はドメイン専門家に対してどの程度実用的で解釈可能な説明を提供するか。
• RQ5 提案フレームワークが、リアルワールドの医用画像タスク（パーキンソン病とCOVID-19検出）および非医療タスク（光学文字検証）に与える影響はどの程度か。

主な発見

構造	FC	Hidden	FCの単位	Hiddenの単位	精度（%）
CNN	2	-	2622-1500	-	94
CNN-RNN	1	2	1500	128-128	98

• パーキンソン病予測では、CNN-RNNはGreek/PPMI DaTscan+MRIデータセットで98%の精度を達成し、5つのクラスタからなるC（2つはNPD、3つはPD進行中心）を構成した。
• CとC'を統合して得られる統一表現は、データセットを跨いだ適用時にも高い予測性能を保持した（例：PD/NPD分類は引き続き正確）。
• COVID-19 CT検出では、5クラスタを持つ32次元表現がF1=0.842（非COVID=0.855、COVID=0.828）を達成し、ベースラインのEfficientNetベース結果を上回った。
• 同じアプローチを用いたCOVID-19データセットとの胸部X線の統合では、5クラスタでF1=0.96を達成し、同様の設定下での以前のネットワーク性能を上回った。
• 食品包装の光学文字検証では、多源ドメイン適応により正確さが6ポイント以上向上（90.53% vs 84.14%）。
• 本研究はクラスタ中心と代表的な医用画像および専門家アノテーションを結びつけることで透明な予測を実現し、信頼とアノテーションに基づく検証を可能にしている。