[論文レビュー] Tensor Networks for Medical Image Classification

Raghavendra Selvan, Erik B. Dam|arXiv (Cornell University)|Apr 21, 2020

Tensor decomposition and applications参考文献 19被引用数 10

ひとこと要約

本論文では、局所的近傍統計を用いてグローバルな画像構造を保持することで、医用画像分類に特化した局所的に順序のないテンソルネットワーク（LoTeNet）を提案する。このモデルは、2次元画像を1次元ベクトルに平坦化する従来のテンソルネットワーク手法の制限を克服し、CNN や先行するテンソルネットワークモデルと比較して、より少ないハイパーパrameterと顕著に低いGPUメモリ使用量で、PCamおよびLIDC-IDRIデータセットで最先端の性能を達成する。

ABSTRACT

With the increasing adoption of machine learning tools like neural networks across several domains, interesting connections and comparisons to concepts from other domains are coming to light. In this work, we focus on the class of Tensor Networks, which has been a work horse for physicists in the last two decades to analyse quantum many-body systems. Building on the recent interest in tensor networks for machine learning, we extend the Matrix Product State tensor networks (which can be interpreted as linear classifiers operating in exponentially high dimensional spaces) to be useful in medical image analysis tasks. We focus on classification problems as a first step where we motivate the use of tensor networks and propose adaptions for 2D images using classical image domain concepts such as local orderlessness of images. With the proposed locally orderless tensor network model (LoTeNet), we show that tensor networks are capable of attaining performance that is comparable to state-of-the-art deep learning methods. We evaluate the model on two publicly available medical imaging datasets and show performance improvements with fewer model hyperparameters and lesser computational resources compared to relevant baseline methods.

研究の動機と目的

• テンソルネットワークモデルにおける2次元医用画像の1次元ベクトル化によるグローバルな空間的構造の破壊という制限を解消する。
• 既存のテンソルネットワーク手法における低解像度画像処理の制約を克服するため、階層的で局所的に順序のない特徴表現を導入する。
• 計算およびメモリのオーバーヘッドを低減することで、テンソルネットワークを用いた高解像度医用画像の効率的かつスケーラブルな分類を実現する。
• 深層学習ベースラインと同等の性能を達成しつつ、少ないハイパーパrameterと少ないGPUメモリを要するテンソルネットワークの有効性を実証する。

提案手法

• 局所的な画像近傍を順序のない領域とみなすことにより、行列積状態（MPS）テンソルネットワークを2次元画像パッチ上で直接動作可能にする。
• ピクセルの順序に依存しない小規模な画像パッチの統計的性質を捉える局所的に順序のない特徴符号化を導入し、スケールをまたいでグローバル構造を保持する。
• 各層がMPSベースの畳み込みを適用して段階的に特徴を圧縮・分類する階層的テンソルネットワークアーキテクチャを構築する。
• テンソルネットワーク構造全体をバックプロパゲーションで最適化することで、勾配ベースの学習を可能にする。
• モデル容量を制御する主なハイパーパラメータとして結合次元（β）を用い、βが小さい場合（例：β=5）でも安定した性能を示す実験結果を得た。
• PCamおよびLIDC-IDRIデータセットの両方において、LoTeNetアーキテクチャに標準的な深層学習トレーニングプロトコル（Adam最適化、交差エントロピー損失、早期停止）を適用する。

実験結果

リサーチクエスチョン

• RQ1 入力を平坦化せずに高解像度医用画像分類に効果的にテンソルネットワークを適応できるか。
• RQ2 標準的な平坦化と比較して、局所的に順序のない画像表現は、テンソルネットワークにおけるグローバル構造的情報をよりよく保持できるか。
• RQ3 DenseNet や回転同値性CNNといった最先端の深層学習モデルと比較して、LoTeNetの性能はどの程度か。
• RQ4 畳み込みニューラルネットワークや先行するテンソルネットワークモデルと比較して、LoTeNetはどの程度GPUメモリ消費量を削減できるか。
• RQ5 LoTeNetの性能は結合次元βの変化に対してどの程度感受性を示すか。低β値でも高い精度を維持できるか。

主な発見

• PCamヒストパスロジー・データセットではAUCが0.943を達成し、回転同値性CNN（AUC 0.963）やDenseNet（AUC 0.962）と同等の最先端の性能を示した。
• LIDC-IDRI胸部CTデータセットではAUCが0.874を達成し、DenseNet（AUC 0.829）および1層目のMPSモデルであるTensor Net-X（AUC 0.847）を上回った。
• PCamではGPUメモリを0.8 GB、LIDC-IDRIでは0.7 GBのみ使用したが、DenseNet（10.5 GB）や回転同値性CNN（11.0 GB）と比べ顕著に低く、パラメータ数は100万（1M）と12万（120K）よりも多いにもかかわらず、この低メモリ使用量を実現した。
• 同じハイパーパラメータ設定（学習率、バッチサイズ）で複数のデータセットにわたって安定した性能を示し、強力な転送性と低いハイパーパラメータ感受性を示した。
• 結合次元βの値にかかわらず性能が安定しており、β=5であっても最小限の変動が観察された。これは、低ランク近似が高性能を達成するのに十分であることを示唆している。
• PCamでは1エポックあたり3分、LIDC-IDRIでは30秒という短時間で学習が可能であり、高次元特徴空間にもかかわらず、計算効率が非常に高いことが示された。