[論文レビュー] Interpretable Neuron Structuring with Graph Spectral Regularization

Alexander Tong, David van Dijk+7 more|arXiv (Cornell University)|Sep 30, 2018

Cell Image Analysis Techniques参考文献 29被引用数 5

ひとこと要約

本稿では、グラフラプラシアン正則化を用いて、隠れ層のニューロン活性化を事前に定義されたまたはデータから学習したグラフ構造に従って滑らかに保つことで、解釈可能なグラフ構造を持つディープニューラルネットワークの隠れ層を整える手法であるグラフスペクトル正則化（GSR）を提案する。事前に定義されたまたはデータから学習したグラフ上でニューロン活性化を滑らかに保つことで、空間的に一貫性のある解釈可能な特徴マップを実現し、MNISTおよび単細胞RNA-seqデータ上で実証した。ここで、クラスタは神経細胞の発達段階などの意味のある生物学的状態に対応し、モデル性能を損なわずに行うことができる。

ABSTRACT

While neural networks are powerful approximators used to classify or embed data into lower dimensional spaces, they are often regarded as black boxes with uninterpretable features. Here we propose Graph Spectral Regularization for making hidden layers more interpretable without significantly impacting performance on the primary task. Taking inspiration from spatial organization and localization of neuron activations in biological networks, we use a graph Laplacian penalty to structure the activations within a layer. This penalty encourages activations to be smooth either on a predetermined graph or on a feature-space graph learned from the data via co-activations of a hidden layer of the neural network. We show numerous uses for this additional structure including cluster indication and visualization in biological and image data sets.

研究の動機と目的

• 隠れ層の特徴が非構造的で解釈が難しいという、ディープニューラルネットワークにおける解釈性の課題に対処すること。
• 生物的ニューロンネットワークの階層的組織構造にインspiredされ、ニューロン活性化の空間的整合性と局所化を実現すること。
• 隠れ層のニューロンにグラフ構造を学習または強制することで、意味のあるデータ組織を明らかにする手法を開発すること。
• グラフ構造を持つ表現が、単細胞RNA-seqデータにおける発達経路などの生物学的に関連するパターンを捉えられることを実証すること。
• 軽量な正則化手法としてのグラフ正則化を用いることで、解釈性を向上させつつも、モデル性能を維持すること。

提案手法

• 隠れ層の活性化をグラフ構造上で滑らかに保つために、グラフラプラシアン正則化を適用し、ニューロン間の空間的整合性を促進する。
• 隠れ層内の特徴の共活性化パターンから、データ駆動型のグラフ構造を学習する。これは、活性化応答の類似性に基づいてグラフを構築する。
• 主成分分析（PCA）で次元削減された特徴空間に適応的帯域幅を持つガウスカーネルを用いて、局所的およびグローバルな構造を捉える。
• 訓練中に繰り返しグラフを精緻化し、現在の層の活性化に基づいてグラフラプラシアンを更新することで、自然なデータ駆動型パターンを強化する。
• 損失関数にスペクトル正則化項としてグラフ正則化を統合し、解釈性と性能のバランスを取る。
• 既知のグラフ構造（例：グリッド）と学習されたグラフの両方を対象とし、受容 field やクラスタレベルの解釈を可能にする。

実験結果

リサーチクエスチョン

• RQ1 隠れ層のニューロンにグラフ構造を強制することにより、モデル性能を損なわず、ディープニューラルネットワークの解釈性が向上するか？
• RQ2 データから学習したグラフ構造は、単細胞RNA-seq のような高次元特徴空間において、意味のある生物学的またはデータ駆動型の組織を明らかにできるか？
• RQ3 標準的なL1/L2正則化と比較して、グラフ構造正則化はモデルの精度と計算コストの点でどのように異なるか？
• RQ4 グラフ構造を持つ特徴は、神経幹細胞から成熟神経細胞への移行を含む、単細胞データにおける発達経路を明らかにできるか？
• RQ5 ニューロンを空間的に配置することで、完全結合層において畳み込みに類似した操作や局所的受容 field を実現できるか？

主な発見

• グラフスペクトル正則化（GSR）は、意味のあるデータ構造に対応するクラスタを形成する空間的に一貫性のある解釈可能な特徴マップを、ディープネットワークに効果的に生成した。
• MNISTでは、正則化係数が10⁻³のとき98.0％のテスト精度を達成し、L2およびL1正則化と同等の性能を示し、性能への影響は最小限であった。
• 単細胞RNA-seqデータでは、GSRが6つのコンポーネントを持つグラフを学習し、既知の生物学的状態と整合した：初期神経幹細胞（クラスタ2）と成熟神経細胞（クラスタ6）、中間型発達型前駆細胞から成熟神経細胞への明確な発達経路が確認された。
• 最大のクラスタ内で、遺伝子発現の発達的進行—例：EomesからTbr1およびSox5への移行—が、標準的なオートエンコーダーでは見えなかったが、GSRによって明らかにされた。
• GSRは平均して1トレーニングステップあたり約33msの追加計算コスト（正則化なし時233ms vs. 266ms）を要し、標準的なL2正則化と同等の計算コストであった。
• 学習されたグラフ構造により、特定の細胞タイプや発達段階に対応する受容 field の同定が可能となり、可視化と解釈の有用性が示された。