[논문 리뷰] Riemannian batch normalization for SPD neural networks

Daniel Brooks, Olivier Schwander외 3명|arXiv (Cornell University)|2019. 09. 03.

Neural Networks and Applications인용 수 56

한 줄 요약

이 논문은 SPD 신경망용 리만 배치 정규화 층(RBN)을 도입하여 SPD 다양체의 기하학(중심점, 평행 수송) 및 SPD 제약 학습을 활용하고, 레이더, 감정, 동작 데이터셋에서 정확도와 강건성이 향상됨을 보여준다.

ABSTRACT

Covariance matrices have attracted attention for machine learning applications due to their capacity to capture interesting structure in the data. The main challenge is that one needs to take into account the particular geometry of the Riemannian manifold of symmetric positive definite (SPD) matrices they belong to. In the context of deep networks, several architectures for these matrices have recently been proposed. In our article, we introduce a Riemannian batch normalization (batchnorm) algorithm, which generalizes the one used in Euclidean nets. This novel layer makes use of geometric operations on the manifold, notably the Riemannian barycenter, parallel transport and non-linear structured matrix transformations. We derive a new manifold-constrained gradient descent algorithm working in the space of SPD matrices, allowing to learn the batchnorm layer. We validate our proposed approach with experiments in three different contexts on diverse data types: a drone recognition dataset from radar observations, and on emotion and action recognition datasets from video and motion capture data. Experiments show that the Riemannian batchnorm systematically gives better classification performance compared with leading methods and a remarkable robustness to lack of data.

연구 동기 및 목표

• SPD 행렬의 학습 필요성과 이들의 리만 기하를 존중해야 하는 필요성에 대한 동기 부여.
• 기하적 구성 요소(중심점, 평행 수송)를 사용하여 SPD 다양체에서 배치 정규화를 정의.
• 학습 중 SPD 제약을 보존하는 학습 알고리즘 제안.
• 다양한 데이터셋에서 접근 방식을 평가하여 정확도와 데이터 효율성 평가.
• 재현 가능성을 위한 오픈 소스 PyTorch 구현 제공.

제안 방법

• SPD 넷에서 BiMap 레이어 뒤에 추가로 연결되는 리만 배치 정규화(RBN) 층 도입.
• 리만 기하학적 중심점(Fréchet 평균)으로 배치 평균을 계산하고 리만 기하평면을 이용해 러닝 평균 업데이트.
• 중심점, 항등 행렬, 학습된 SPD 바이어스 G 간의 SPD 평행 수송을 통해 SPD 배치를 중심화 및 바이어스 처리.
• 행렬 인식 체인 규칙을 사용하여 비선형 구조적 행렬 함수(제곱근 및 역제곱근)를 통한 역전파 수행.
• 매니폴드 인식 그래디언트 프로젝션과 지수지도 업데이트를 통해 바이어스 매개변수 G가 SPD를 유지하도록 제약.
• 재현 가능한 구현을 가능하게 하는 오픈 소스 PyTorch 라이브러리 제공.

실험 결과

연구 질문

• RQ1 리만 배치 정규화를 도입하는 것이 SPD 기반 네트워크에서 분류 성능을 유클리드 공간 또는 비정규화된 SPD 네트에 비해 향상시켜주는가?
• RQ2 레이더, 비디오 감정, 모션 캡처 등 다양한 데이터 모달리티에서 훈련 데이터가 부족할 때 RBN의 성능은 어떠한가?
• RQ3 SPD 다양체 연산(중심점, 평행 수송)을 역전파를 통한 엔드 투 엔드 학습에 통합하여 SPD 제약을 위반하지 않고 구현할 수 있는가?

주요 결과

• RBN은 NATO 레이더 드론 데이터셋 및 합성 데이터에서 SPDNet 및 경쟁적 유클리드 기반 기준선보다 일관되게 분류 정확도를 향상시켰다.
• SPDNetBN은 기본 SPDNet 대비 유사하거나 더 적은 파라미터로 더 높은 정확도를 달성한다(예: NATO 데이터에서 SPDNet 대비 87.2% ±1.06 vs 85.4% ±0.80).
• SPDNetBN은 학습 데이터가 적은 상황에서 강건성을 보이며 데이터의 10%만 사용해도 성능을 유지한다.
• 감정 인식(AFEW) 및 행동 인식(HDM05)에서 SPDNetBN은 여러 아키텍처에서 SPDNet보다 높은 정확도를 보인다.
• 이 접근법은 학습 시간은 다소 증가시키나(가장 깊은 모델에서 한 실험의 경우 +8.6%), 성능 향상과 데이터 효율성을 크게 제공한다.
• 이 연구는 오픈 소스 PyTorch 구현을 통해 재현 가능한 결과를 제공한다.