[논문 리뷰] A Riemannian Network for SPD Matrix Learning

Zhiwu Huang, Luc Van Gool|arXiv (Cornell University)|2016. 08. 15.

Face and Expression Recognition인용 수 120

한 줄 요약

SPDNet을 소개하는 딥 네트워크로, BiMap, ReEig, LogEig 계층을 사용하여 SPD 행렬의 비선형 표현을 학습하고, SPD 구조를 보존하기 위해 Stiefel 매니폴드에서 Riemannian SGD로 학습한다.

ABSTRACT

Symmetric Positive Definite (SPD) matrix learning methods have become popular in many image and video processing tasks, thanks to their ability to learn appropriate statistical representations while respecting Riemannian geometry of underlying SPD manifolds. In this paper we build a Riemannian network architecture to open up a new direction of SPD matrix non-linear learning in a deep model. In particular, we devise bilinear mapping layers to transform input SPD matrices to more desirable SPD matrices, exploit eigenvalue rectification layers to apply a non-linear activation function to the new SPD matrices, and design an eigenvalue logarithm layer to perform Riemannian computing on the resulting SPD matrices for regular output layers. For training the proposed deep network, we exploit a new backpropagation with a variant of stochastic gradient descent on Stiefel manifolds to update the structured connection weights and the involved SPD matrix data. We show through experiments that the proposed SPD matrix network can be simply trained and outperform existing SPD matrix learning and state-of-the-art methods in three typical visual classification tasks.

연구 동기 및 목표

• Symmetric Positive Definite (SPD) 행렬 위에서 직접 학습하면서 리만 기하학을 보존하는 것을 목표로 한다.
• 레이어를 넘나들며 SPD 행렬에서 작동하는 깊은 아키텍처(SPDNet)를 제안한다.
• SPD 변환 가중치에 대해 Stiefel 매니폴드에서 역전파 및 최적화를 개발한다.
• 감정, 행동, 얼굴 검증 작업에서 얕은 SPD 방법들보다 성능이 향상됨을 입증한다.

제안 방법

• BiMap 계층: X_k = W_k X_{k-1} W_k^T 로 W_k를(outputs SPD)을 유지하기 위해 Stiefel 매니폴드에 둔다.
• ReEig 계층: X_k = U diag(max(εI, Σ)) U^T를 통해 SPD 고유값에 ReLU 유사 비선형성을 적용한다.
• LogEig 계층: 고유값에 로그를 적용하여 SPD를 유클리드 공간으로 매핑하고 표준 FC/소프트맥스 계층을 적용한다.
• 리만 기하학적 역전파: 재traction 단계와 함께 Stiefel 매니폴드에서 SGD를 사용해 BiMap 가중치를 업데이트한다.
• 행렬 역전파: ReEig 및 LogEig 계층에 대해 고유값 분해(EIG)를 통한 그래디언트를 행렬-연쇄 법칙 확장으로 도출한다.
• 학습 세부사항: 네 가지 구성(0–3 BiRe 블록), 학습률 1e-2, 임의의 준직교 초기화, ε = 1e-4

실험 결과

연구 질문

• RQ1 SPD 매니폴드에서 SPD 구조를 보존하며 직접 비선형 학습이 가능할까?
• RQ2 BiMap 및 ReEig 계층이 LogEig 변환을 넘어 SPD 행렬에 의미 있는 비선형성을 제공하는가?
• RQ3 Riemannian 역전파를 사용한 SPDNet가 기존의 얕은 SPD 학습 방법과 표준 시각 작업에서 어떻게 비교되는가?

주요 결과

Method	AFEW	HDM05	PaSC1	PaSC2
STM-ExpLet	31.73%	–	–	–
RSR-SPDML	30.12%	48.01% ±3.38	–	–
DeepO2P	28.54%	–	68.76%	60.14%
CDL	31.81%	41.74% ±1.92	78.29%	70.41%
LEML	25.13%	46.87% ±2.19	66.53%	58.34%
SPDML-AIM	26.72%	47.25% ±2.78	65.47%	59.03%
SPDML-Stein	24.55%	46.21% ±2.65	61.63%	56.67%
RSR	27.49%	41.12% ±2.53	–	–
SPDNet-0BiRe	26.32%	48.12% ±3.15	68.52%	63.92%
SPDNet-1BiRe	29.12%	55.26% ±2.37	71.75%	65.81%
SPDNet-2BiRe	31.54%	59.13% ±1.78	76.23%	69.64%
SPDNet-3BiRe	34.23%	61.45% ±1.12	80.12%	72.83%

• SPDNet-3BiRe는 AFEW에서 34.23%, HDM05에서 61.45%, PaSC1에서 80.12%(PaSC2: 72.83)로 여러 얕은 SPD 방법을 능가하였다.
• 더 깊은 SPDNet 구성(더 많은 BiRe 블록)은 SPDNet-0BiRe 및 SPDNet-1/2BiRe 대비 일관된 성능 향상을 보여준다.
• LogEig 계층은 필수적이며 이를 생략하면 정확도가 크게 감소한다(예: SPDNet-0BiRe의 26.32% 대비 SPDNet-3BiRe의 34.23% on AFEW).
• SPDNet-3BiRe는 AFEW, HDM05, PaSC 데이터셋 전반에서 DeepO2P 및 다른 SPD 학습 기준선을 능가한다.
• 실험은 방법이 수렴하고 비선형 고유값 보정(ε-파라미터 연구)에서 이점이 있음을 시사한다.