[論文レビュー] Patchnet: Interpretable Neural Networks for Image Classification

Adityanarayanan Radhakrishnan, Charles W. Durham+2 more|arXiv (Cornell University)|May 23, 2017

Cutaneous Melanoma Detection and Management参考文献 29被引用数 5

ひとこと要約

PatchNet は、小さな画像パッチを個別に分析し、予測を平均化することでグローバルな文脈に依存するのを減らすことで、画像分類における解釈可能性を向上させる文脈制限付きのニューラルネットワークアーキテクチャである。CAM や Grad-CAM よりもシャープで局所化された特徴ヒートマップを生成し、特に医用画像において優れた性能を発揮するが、汎化誤差と特徴の細分化のトレードオフがあるものの、高い分類精度を維持する。

ABSTRACT

Understanding how a complex machine learning model makes a classification decision is essential for its acceptance in sensitive areas such as health care. Towards this end, we present PatchNet, a method that provides the features indicative of each class in an image using a tradeoff between restricting global image context and classification error. We mathematically analyze this tradeoff, demonstrate Patchnet's ability to construct sharp visual heatmap representations of the learned features, and quantitatively compare these features with features selected by domain experts by applying PatchNet to the classification of benign/malignant skin lesions from the ISBI-ISIC 2017 melanoma classification challenge.

研究の動機と目的

• 医療などの感受性の高い分野におけるディープニューラルネットワークの解釈可能性の欠如に対処すること。
• CAM や Grad-CAM の限界、たとえばぼやけ、空間的文脈の喪失、グローバルな画像特徴への過剰依存を克服すること。
• 文脈を小さな画像パッチに制限することで、各クラスの識別的特徴を可能な限り特定する手法を開発すること。
• 二値画像分類タスクにおいて、数学的に根拠のある局所化された視覚的説明を提供すること。
• 実世界の医用データセット（ISBI-ISIC 2017 のメラノーマ分類）を用いて、手法の有効性を示すこと。

提案手法

• PatchNet は、各入力画像を固定サイズ（例：11×11、17×17、31×31 ピクセル）の重複するパッチに分割し、各パッチを独立した入力として扱う。
• 各パッチサイズごとに別個の CNN サブネットを訓練し、各パッチ P に対して P(y=1|P) を推定する。
• グローバルな画像分類は、画像全体のすべてのパッチ予測のシグモイド出力を平均することで得られ、平均場近似で用いられる乗算を避ける。
• 文脈を限定することで、ネットワークが限られた文脈から学習するよう強制することで、各クラスの識別的特徴をすべて特定する。
• グローバルおよびフィルターヒートマップを抽出し、各クラスに最も関連する画像領域と特徴マップを可視化する。
• このアプローチは変分推論とアンサンブル手法にインspiredされており、パッチサイズの制御によって汎化誤差と特徴の細分化のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 パッチベース分類法は、医用画像解析におけるディープニューラルネットワークの解釈可能性を向上させることができるか？
• RQ2 小さな画像パッチに文脈を制限することで、グローバル文脈法（CAM や Grad-CAM）と比較して、学習された特徴の局所化と明瞭さはどのように変化するか？
• RQ3 PatchNet は、1つの主要な特徴に依存するのではなく、1クラスあたり複数の明確に異なる特徴を特定できるか、その程度はいかほどか？
• RQ4 PatchNet における汎化誤差と特徴の細分化のトレードオフは何か、またパッチサイズに応じてどのように変化するか？
• RQ5 PatchNet のヒートマップは、皮膚腫瘍分類において、専門家がアノテートした特徴と比較して、関連性と局所化の点でどの程度優れているか？

主な発見

• PatchNet は CAM や Grad-CAM よりも高い局所化精度を達成し、エッジや細胞核の高コントラスト領域を正確に強調するシャープで焦点が合ったヒートマップを生成した。
• すべてのパッチサイズにおいて、PatchNet は NIH/3T3（マウス）細胞核の高発光度コントラストを識別的特徴として正しく特定し、境界を背景と同様に白に色付けした。
• PatchNet の検証損失はパッチサイズが大きくなるにつれて減少した（例：31×31 では 0.074、11×11 では 0.154）、これは期待される汎化と文脈のトレードオフを確認した。
• より高い汎化誤差があるにもかかわらず、PatchNet-11 は検証精度 98.2% を達成し、CAM（0.988 の損失、しきい値のフラクチュエートによる精度低下）と VGG-11（過学習により 97.0% の精度）を上回った。
• CAM は最小の検証損失（0.027）を達成したが、その可視化ではクラス1に関連すると誤ってラベル付けされた領域が大部分を占め、特に小さな細胞核では顕著だった。
• Grad-CAM の可視化は効果がなく、特に小さなマウス細胞核では、しばしば背景をクラス1の特徴として強調しており、グローバルな文脈に依存しているためである。