[논문 리뷰] Learning a Robust Representation via a Deep Network on Symmetric Positive Definite Manifolds

Zhi Gao, Yuwei Wu외 2명|arXiv (Cornell University)|2017. 11. 17.

Advanced Vision and Imaging참고 문헌 35인용 수 5

한 줄 요약

이 논문은 비선형 커널 집약층, SPD 행렬 변환층, 벡터화층을 포함한 비선형 커널 집약층을 사용하여 리만 다양체 상의 대칭 양의 정부호(SPD) 행렬 표현으로 깊이 강화된 컨volutional 특징을 집약하는 엔드 투 엔드 딥 네트워크를 제안한다. 이 방법은 11개의 시각 분류 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, KTH-2b에서 81.1%의 정확도와 FGVC-aircraft에서 77.8%의 정확도를 기록하여 B-CNN을 포함한 기존 방법들을 능가한다.

ABSTRACT

Recent studies have shown that aggregating convolutional features of a pre-trained Convolutional Neural Network (CNN) can obtain impressive performance for a variety of visual tasks. The symmetric Positive Definite (SPD) matrix becomes a powerful tool due to its remarkable ability to learn an appropriate statistic representation to characterize the underlying structure of visual features. In this paper, we propose to aggregate deep convolutional features into an SPD matrix representation through the SPD generation and the SPD transformation under an end-to-end deep network. To this end, several new layers are introduced in our network, including a nonlinear kernel aggregation layer, an SPD matrix transformation layer, and a vectorization layer. The nonlinear kernel aggregation layer is employed to aggregate the convolutional features into a real SPD matrix directly. The SPD matrix transformation layer is designed to construct a more compact and discriminative SPD representation. The vectorization and normalization operations are performed in the vectorization layer for reducing the redundancy and accelerating the convergence. The SPD matrix in our network can be considered as a mid-level representation bridging convolutional features and high-level semantic features. To demonstrate the effectiveness of our method, we conduct extensive experiments on visual classification. Experiment results show that our method notably outperforms state-of-the-art methods.

연구 동기 및 목표

• 고차원의 깊이 강화된 컨볼루션 특징을 효과적으로 집약하여 개선된 시각적 표현을 달성하고자 한다.
• 이중 풀링이나 VLAD와 같은 선형 특징 집약 방법의 한계를 극복하고, 고차원 특징 내 복잡한 비선형 관계를 모델링하고자 한다.
• 엔드 투 엔드 방식으로 컨볼루션 특징에서 직접 분류 가능한 SPD 행렬 표현을 학습할 수 있는 딥 러닝 프레임워크를 설계하고자 한다.
• 특히 공분산 행렬이 특이해지는 경우에도 강건성과 일반화 능력을 향상시키기 위해 SPD 행렬의 리만 기하학을 활용하고자 한다.
• 비선형 SPD 집약이 선형 및 유클리드 기반 집약 기법보다 시각 분류에서 우월함을 입증하고자 한다.

제안 방법

• RBF, 다항식, 라플라스 커널과 같은 미분 가능한 커널 함수를 사용하여 컨볼루션 특징을 직접 실수 대칭 양의 정부호(SPD) 행렬로 매핑하는 비선형 커널 집약층을 도입한다.
• 초기 SPD 행렬을 더 컴act하고 분류 능력이 뛰어난 표현으로 매핑하면서도 리만 다양체의 구조를 유지하는 가속도 가능한 매개변수를 가진 SPD 행렬 변환층을 활용한다.
• 중복을 줄이고 수렴 속도를 높이며, 표준 딥 러닝 최적화와의 호환성을 확보하기 위해 벡터화 및 정규화 층을 적용한다.
• SPD 층을 통해 역전파를 가능하게 하기 위해, 정규 직교 스티펠 다양체 상의 재구성(리트랙션)을 포함한 리만 최적화 기법을 활용한다.
• 전방 및 후방 전파의 계산 효율성을 확보하기 위해 빠른 행렬 연산을 활용한다.
• 최종 컨볼루션 특징의 차원을 줄이기 위해 1×1 컨볼루션 층과 PCA를 통합하여 특징 품질과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 리만 다양체 상의 SPD 행렬로 특징를 모델링함으로써, 딥 네트워크가 비선형적이고 강건한 컨볼루션 특징 표현을 효과적으로 학습할 수 있는가?
• RQ2 비선형 커널 기반 집약은 이중 풀링이나 VLAD와 같은 선형 방법보다 복잡한 특징 관계를 얼마나 잘 포착하는가?
• RQ3 제안된 SPD 행렬 변환층은 시각 분류에서 분류 능력과 일반화 능력을 얼마나 향상시키는가?
• RQ4 리만 최적화를 통한 엔드 투 엔드 프레임워크는 기존 최신 기술(SOTA) 특징 집약 기법을 초월하는가?
• RQ5 1×1 컨볼루션 및 커널 함수 선택과 같은 설계 선택 사항은 다양한 데이터셋에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 KTH-2b 데이터셋에서 81.1%의 상위-1 정확도를 달성하여 B-CNN(79.7%)과 순수 VGG-16보다 뚜렷이 뛰어나다.
• FGVC-aircraft 데이터셋에서는 77.8%의 정확도를 기록하여 B-CNN의 74.3%와 VGG-16의 기준선을 능가한다.
• DTD 데이터셋에서 SPD 행렬 변환층은 기준선 대비 1.8% 향상된 성능을 기록했으며, FGVC-aircraft 데이터셋에서는 1.1% 향상되었다.
• 1×1 컨볼루션 층은 제안된 SPD 집약에 유익한 반면, B-CNN와 순수 VGG-16에서는 해로운 또는 효과가 없는 것으로 나타나, 이는 SPD 프레임워크에 특화된 역할임을 시사한다.
• 세분화된 분류 및 동작 인식 작업에서 비선형 관계가 중요한 경우, 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 보였다.
• 512채널 1×1 컨볼루션을 사용한 커널 집약층이 다른 구성보다 뛰어나며, 특히 FGVC-aircraft와 KTH-2b와 같은 세분화된 데이터셋에서 두각을 나타낸다.