[論文レビュー] A Statistical Recurrent Model on the Manifold of Symmetric Positive Definite Matrices

Rudrasis Chakraborty, Chun-Hao Yang+6 more|arXiv (Cornell University)|May 28, 2018

Morphological variations and asymmetry被引用数 11

ひとこと要約

本稿では、対称正定値（SPD）行列のリーマン多様体上に存在するデータに一般化された統計的再帰モデル、SPD-SRUを提案する。このモデルは非ユークリッドデータにおける効率的なシーケンスモデリングを可能にし、顕著に少ないパラメータ数で最先端の性能を達成している。また、脳機能接続性データを用いたパーキンソン病における群差の検出においても統計的有意性を示している。

ABSTRACT

In a number of disciplines, the data (e.g., graphs, manifolds) to be analyzed are non-Euclidean in nature. Geometric deep learning corresponds to techniques that generalize deep neural network models to such non-Euclidean spaces. Several recent papers have shown how convolutional neural networks (CNNs) can be extended to learn with graph-based data. In this work, we study the setting where the data (or measurements) are ordered, longitudinal or temporal in nature and live on a Riemannian manifold -- this setting is common in a variety of problems in statistical machine learning, vision and medical imaging. We show how recurrent statistical recurrent network models can be defined in such spaces. We give an efficient algorithm and conduct a rigorous analysis of its statistical properties. We perform extensive numerical experiments demonstrating competitive performance with state of the art methods but with significantly less number of parameters. We also show applications to a statistical analysis task in brain imaging, a regime where deep neural network models have only been utilized in limited ways.

研究の動機と目的

• 時系列的または縦断的データがリーマン多様体上に存在する場合に適した再帰的ニューラルネットワークフレームワークの開発。特に、対称正定値（SPD）行列を対象とする。
• 従来のディープラーニングモデルが未活用されている神経画像診断分野など、多様体値の時系列データに対する統計的分析を可能にする。
• SPD行列の内在的幾何構造を活用することで、モデルの複雑さを低減しつつも、競争力のある性能を維持する。
• 本モデルが、パーキンソン病と健常対照群の間における脳接続パターンの統計的に有意な差を検出する応用における有効性を示すこと。

提案手法

• モデルは、対称正定値（SPD）行列の空間における再帰的演算を定義するため、リーマン多様体フレームワークを用いる。標準的なユークリッド演算の代わりに、リーマン的対応物を用いる。
• 地図距離や平均を計算するために、対数ユークリッドまたはアフィン不変リーマン計量を採用し、多様体上での安定的かつ微分可能な最適化を可能にする。
• コアアーキテクチャは、SPD多様体に適応された簡素化された再帰ユニット（SRU）に類似したメカニズムを統合し、パラメータ数を削減しながらも長期依存性のモデリングを維持する。
• トレーニング中に更新がSPD多様体上に留まるように、指数写像と再帰写像（retractions）を用いる。
• 統計的有意性の検定は、2つの被験者群（例：PD対CON）のトレーニング済みモデル間の距離を用いたパーミュテーションテストにより実施する。ネットワーク重みから導出されたモデル距離尺度を用いる。
• フレームワークは、拡散MRIからの線維 tract データに適用され、M1 tract 沿って各ボクセルから3×3のSPD行列を抽出し、拡散特性を表現する。

実験結果

リサーチクエスチョン

• RQ1 リーマン多様体上に存在するデータ、特に対称正定値行列の多様体上に、再帰的ニューラルネットワークを効果的に一般化できるか？
• RQ2 提案されたモデルは、既存のRNNと比較して顕著に少ないパラメータ数で、時系列データタスクにおいて競争力のある性能を達成できるか？
• RQ3 本モデルは、パーキンソン病と健常対照群の間で脳接続パターンの統計的に有意な差を検出できるか？
• RQ4 ベンチマークビジョンおよび医療画像処理タスクにおいて、精度、トレーニング時間、パラメータ効率の観点から、最先端のRNNと比較して本モデルの性能はどのように差がつくか？

主な発見

• SPD-SRUは、3,337個の学習可能なパラメータでUCF11行動認識データセットにおいて0.78のテスト精度を達成し、LSTM や GRU よりもパラメータ効率に優れた性能を示した。
• 1エポックあたり約76秒の計算時間であり、LSTM（1460万パラメータ、約57秒）やSRU（250万パラメータ、約50秒）と比較して顕著に高速であった。
• 神経画像診断応用において、SPD-SRUはパーキンソン病群と対照群の間で有意差を検出でき、p値はLM1で0.01、RM1で0.032であった。一方、ベースライン手法では非有意なp値（0.17と0.34）が得られた。
• 本モデルは、多様体上に存在する低パラメータのRNNが、競争力のある性能を発揮し、深層学習が未活用であった医療画像分野における統計的検定を可能にすることを示した。
• 本フレームワークは、学習済みモデルに対するパーミュテーションベースの統計的検定を可能とし、神経画像診断分野におけるトラクトベースの群比較分析に新規な手法を提供する。
• 結果から、SPD-SRUは計算的にも効率的であり、統計的にも強力であることが示され、低データ量または高次元の多様体値時系列解析に適している。