[논문 리뷰] Building Deep Networks on Grassmann Manifolds

Zhiwu Huang, Jiqing Wu외 1명|arXiv (Cornell University)|2016. 11. 17.

Morphological variations and asymmetry인용 수 47

한 줄 요약

이 논문은 완전히 연결된, 정규화, 풀링, 출력 레이어를 리만 기하학으로 일반화함으로써, 그라스만 다양체에서 엔드 투 엔드 학습을 위한 첫 번째 딥러닝 아키텍처인 그라스만 네트워크(GrNet)를 제안한다. 다양체 인식 레이어로는 전 Rank 매핑, 再 정규직교화, 투영 풀링, 투영 매핑을 도입하고, 훈련을 위해 QR 분해를 통한 행렬 일반화 역전파를 유도하여, 시각 인식 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning representations on Grassmann manifolds is popular in quite a few visual recognition tasks. In order to enable deep learning on Grassmann manifolds, this paper proposes a deep network architecture by generalizing the Euclidean network paradigm to Grassmann manifolds. In particular, we design full rank mapping layers to transform input Grassmannian data to more desirable ones, exploit re-orthonormalization layers to normalize the resulting matrices, study projection pooling layers to reduce the model complexity in the Grassmannian context, and devise projection mapping layers to respect Grassmannian geometry and meanwhile achieve Euclidean forms for regular output layers. To train the Grassmann networks, we exploit a stochastic gradient descent setting on manifolds of the connection weights, and study a matrix generalization of backpropagation to update the structured data. The evaluations on three visual recognition tasks show that our Grassmann networks have clear advantages over existing Grassmann learning methods, and achieve results comparable with state-of-the-art approaches.

연구 동기 및 목표

• 시각 인식에서 널리 사용되지만 이전에는 딥 네트워크에서 접근이 어려웠던 그라스만 다양체에서의 딥러닝을 가능하게 하기 위해.
• 얕은 모델, 탄젠트 공간 근사, 고비용 계산을 요구하는 커널 기반 기법에 의존하는 기존의 그라스만 학습 방법의 한계를 극복하기 위해.
• 그라스만 데이터의 본질적인 리만 기하학을 존중하는 완전히 미분 가능하고 엔드 투 엔드 딥 네트워크 아키텍처를 개발하기 위해.
• 특히 QR 분해를 기울기 계산에 통합함으로써, 구조적 행렬 데이터(예: 정규직교 기저)에 대해 백프로파게이션을 다양체 상에서 일반화하기 위해.
• 그라스만 다양체에서의 딥러닝이 기하학적 구조를 유지하면서도 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 입력 그라스만 데이터를 정규직교 행렬을 사용하여 더 구분력 있는 표현으로 변환하기 위해 전 Rank 매핑 레이어를 제안한다.
• 기저 행렬의 정규직교성을 유지하여 그라스만 다양체 상에 머물도록 하기 위해 재정규직교화 레이어를 도입한다.
• 낮은 차원의 부분공간으로 투영함으로써 차원을 감소시키면서도 그라스만 기하학을 존중하는 투영 풀링 레이어를 설계한다.
• 그라스만 데이터를 유클리드 형태로 변환하여 표준 완전히 연결된 레이어와의 호환성을 확보하기 위해 투영 매핑 레이어를 개발한다.
• 연결 가중치에 대해 리만 다양체로의 확률적 경사하강법을 일반화하고, 기울기 계산을 위한 QR 분해를 활용한 행렬 기반 역전파 규칙을 도출한다.
• 거리 측정으로서 $ d_p(X_1,X_2) = 2^{-1/2} \|X_1X_1^T - X_2X_2^T\|_F $ 를 사용하며, 이는 진정한 기하적 거리의 스케일 인자 $ \sqrt{2} $ 범위 내에서 근사한다.

실험 결과

연구 질문

• RQ1 그라스만 다양체에서 엔드 투 엔드 표현 학습을 수행할 수 있는 딥 네트워크 아키텍처를 성공적으로 구축할 수 있는가?
• RQ2 완전히 연결된 레이어, 정규화, 풀링, 출력 레이어와 같은 표준 딥러닝 구성 요소들을 그라스만 다양체의 리만 기하학으로 어떻게 일반화할 수 있는가?
• RQ3 구조적 행렬 데이터(예: 정규직교 기저)에 대해 그라스만 다양체 상에서 효과적이고 미분 가능한 방식으로 역전파를 수행할 수 있는가?
• RQ4 제안된 네트워크는 시각 인식 작업에서 기존의 얕은 그라스만 학습 방법보다 우수한 성능을 낼 수 있는가?
• RQ5 GrNet의 기하학 인식 설계는 유클리드 기반 베이스라인(예: SPDNet)에 비해 수렴성과 성능 향상에 어느 정도 기여하는가?

주요 결과

• GrNet-2Blocks는 AFEW에서 34.23%의 정확도를 기록하여 이전 최고 성능 기법인 SPDNet(34.23%)와 동률을 이뤘고, 이전의 모든 그라스만 학습 방법을 뛰어넘었다.
• HDM05에서 GrNet-2Blocks는 표준편차 1.78%를 동반해 59.23%의 정확도를 달성하였으며, 이는 이전 최고 기술인 GDA(46.87%)와 DCC(41.34%)를 크게 뛰어넘었다.
• PaSC1과 PaSC2에서 GrNet-2Blocks는 각각 80.52%와 72.76%의 정확도를 기록하여, 최고의 기존 기법인 SPDNet(80.12%와 72.83%)와 동일하거나 뛰어났다.
• GrNet는 SPDNet보다 수렴 속도가 빨라, HDM05에서 검증 정확도를 40% 향상시키며 적은 학습 에포크 수로 성능을 달성했고, AFEW에서는 12% 향상되었다.
• 에포크당 학습 시간은 GrNet(10–13분)이 SPDNet(2–15분)보다 더 길었지만, 이론적 분석에 따르면 더 낮은 차원의 정규직교 행렬($ d \times q $, $ q \approx 10 $)을 사용하는 GrNet가 $ d \times d $ SPD 행렬을 사용하는 SPDNet보다 더 빠를 것으로 예상된다.
• 제거 실험을 통해 다수의 FRMap 및 W-ProjPooling이 성능 향상에 기여했으며, M-FRMap와 W-ProjPooling 조합이 모든 데이터셋에서 최고의 성능를 기록했다.