[論文レビュー] Riemannian batch normalization for SPD neural networks

Daniel Brooks, Olivier Schwander+3 more|arXiv (Cornell University)|Sep 3, 2019

Neural Networks and Applications被引用数 56

ひとこと要約

この論文はSPDニューラルネットワークのためのリーマン(batch)正規化層を導入し、SPD多様体の幾何学（バリセンター、並行輸送）とSPD制約付き学習を活用し、レーダー、感情、アクションデータセットで精度とロバスト性を向上させることを示す。

ABSTRACT

Covariance matrices have attracted attention for machine learning applications due to their capacity to capture interesting structure in the data. The main challenge is that one needs to take into account the particular geometry of the Riemannian manifold of symmetric positive definite (SPD) matrices they belong to. In the context of deep networks, several architectures for these matrices have recently been proposed. In our article, we introduce a Riemannian batch normalization (batchnorm) algorithm, which generalizes the one used in Euclidean nets. This novel layer makes use of geometric operations on the manifold, notably the Riemannian barycenter, parallel transport and non-linear structured matrix transformations. We derive a new manifold-constrained gradient descent algorithm working in the space of SPD matrices, allowing to learn the batchnorm layer. We validate our proposed approach with experiments in three different contexts on diverse data types: a drone recognition dataset from radar observations, and on emotion and action recognition datasets from video and motion capture data. Experiments show that the Riemannian batchnorm systematically gives better classification performance compared with leading methods and a remarkable robustness to lack of data.

研究の動機と目的

• SPD行列を用いた学習を動機づけ、それらのリーマン幾何を尊重する必要性。
• 幾何的構造（バリセンター、並列輸送）を用いてSPD多様体上のバッチ正規化を定義。
• 訓練中にSPD制約を保持する学習アルゴリズムを提案。
• 精度とデータ効率を評価するため、様々なデータセットでアプローチを評価。
• 再現性を可能にするオープンソースのPyTorch実装を提供。）

提案手法

• 各BiMap層の後に追加されるSPDネット向けのリーマン(batch normalization)層(RBN)を導入。
• Riemannian barycenter(Fréchet mean)を用いてバッチ平均を計算し、Riemannian geodesicsを介してランニング平均を更新。
• SPDバッチをバリセンター、単位行列、学習されたSPDバイアスG間のSPD並行輸送を用いてセンタリングおよびバイアス付与。
• 行列に対するチェーンルールを用いて非線形構造行列関数（平方根、平方根の逆行列）を含むバックプロパゲーションを実施。
• 勾配の投影と指数写像更新を用いてGがSPDを維持するように制約する。
• 再現性のある実装を可能にするオープンソースのPyTorchライブラリを提供。

実験結果

リサーチクエスチョン

• RQ1 RBNを組み込むことで、Euclideanや非正規化SPDネットと比較してSPDベースのネットワークの分類性能は改善されるか？
• RQ2 レーダー、映像感情、モーションキャプチャなど、さまざまなデータモダリティで訓練データが乏しい場合、RBNはどのように性能を発揮するか？
• RQ3 SPD多様体の演算（バリセンター、並行輸送）を、SPD制約を破ることなくバックプロパゲーションを通じたエンドツーエンド学習に組み込むことは可能か？

主な発見

モデル	パラメータ	精度（全訓練データ）	精度（訓練データ10%）
SPDNet	~ 500	85.4% ±0.80	83.9% ±0.85
SPDNetBN	~ 500	87.2% ±1.06	84.7% ±0.64
FCN	~ 10000	89.4% ±0.82	66.6% ±2.70
MRDRM	~ 500	74.9% ±3.40	68.8% ±2.24

• RBNはSPDNetと競合的なEuclideanベースのベースラインより一貫して分類精度を向上させ、NATOレーダドローンデータセットおよび合成データで優位。
• SPDNetBNはベースラインSPDNetと同程度または少ないパラメータ数でより高い精度を達成（例：NATOデータで、87.2% vs 85.4% with SPDNet）。
• SPDNetBNは学習データが限定されても堅牢で、データが10%しか使用されない場合でも性能を維持。
• 感情認識（AFEW）とアクション認識（HDM05）では、SPDNetよりも複数のアーキテクチャで精度が向上。
• このアプローチはトレーニング時間を適度に増加させるが（ deepest model: +8.6% という実験を含む）、顕著な性能向上とデータ効率を提供。
• 本研究はオープンソースのPyTorch実装を通じて再現性のある結果を提供。