[논문 리뷰] Generalized BackPropagation, Étude De Cas: Orthogonality

Mehrtash Harandi, Basura Fernando|arXiv (Cornell University)|2016. 11. 17.

Face and Expression Recognition참고 문헌 34인용 수 43

한 줄 요약

이 논문은 구조적 가중치 레이어, 특히 직교(스티펠) 레이어를 갖는 딥 네트워크를 훈련하기 위해 매트릭스 다양체 위에서 리만 최적화를 사용하는 백프로파게이션의 확장인 일반화된 백프로파게이션(gBP)을 소개한다. 이 방법은 직교성과 같은 제약 조건을 유지함으로써 일반화 성능 향상과 파라미터 수 감소를 가능하게 하며, 세밀한 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성하면서 모델 크기를 크게 줄였다.

ABSTRACT

This paper introduces an extension of the backpropagation algorithm that enables us to have layers with constrained weights in a deep network. In particular, we make use of the Riemannian geometry and optimization techniques on matrix manifolds to step outside of normal practice in training deep networks, equipping the network with structures such as orthogonality or positive definiteness. Based on our development, we make another contribution by introducing the Stiefel layer, a layer with orthogonal weights. Among various applications, Stiefel layers can be used to design orthogonal filter banks, perform dimensionality reduction and feature extraction. We demonstrate the benefits of having orthogonality in deep networks through a broad set of experiments, ranging from unsupervised feature learning to fine-grained image classification.

연구 동기 및 목표

• 표준 백프로파게이션의 한계, 즉 네트워크 가중치의 구조적 제약 조건(예: 직교성)을 유지하지 못하는 문제를 해결하기 위해.
• 행렬 다양체 위에서 최적화를 지원하는 일반화된 백프로파게이션 알고리즘(gBP)을 개발하기 위해.
• 완전히 연결된 레이어로서 직교 가중치 행렬을 갖는 '스티펠 레이어'를 도입하기 위해.
• 비지도 특징 학습과 지도 학습 기반 이미지 분류에서 직교성의 이점을 실증적으로 평가하기 위해.
• 스티펠 레이어를 사용한 저랭크 근사화를 통한 모델 단순화를 통해 파라미터 수를 줄이고 정확도를 향상시키기 위해.

제안 방법

• gBP 알고리즘은 기존 백프로파게이션을 확장하여 기울기 하강 중에 가중치 행렬의 제약 조건을 유지하기 위해 리만 최적화 기법을 통합한다.
• 이 방법은 직교 행렬의 집합으로 정의된 스티펠 다양체를 사용하여 완전히 연결된 레이어의 가중치 행렬에서 직교성을 강제한다.
• 기울기는 스티펠 다양체의 탄성 공간에 투영되며, 최적화는 리만 공액 기울기 또는 유사 방법을 통해 진행된다.
• 스티펠 레이어는 LeNet, AlexNet, VGG와 같은 딥 네트워크에 통합되어 표준 완전히 연결된 레이어를 대체한다.
• 완전히 연결된 레이어의 저랭크 근사는 SVD를 통해 가중치 행렬의 에너지를 유지하는 두 개의 스티펠 레이어를 사용하여 구성된다.
• 적응형 학습률과 표준 이미지 분류 데이터셋에서의 피취닝을 통해 훈련이 수행되며, 정확도와 파라미터 수를 평가한다.

실험 결과

연구 질문

• RQ1 백프로파게이션은 딥 네트워크 가중치의 구조적 제약 조건(예: 직교성)을 유지할 수 있도록 일반화될 수 있는가?
• RQ2 완전히 연결된 레이어에서 직교성을 강제하면 이미지 분류 작업의 일반화 성능에 어떤 영향을 미치는가?
• RQ3 스티펠 레이어를 사용하여 저랭크 근사화를 통해 딥 네트워크를 단순화할 수 있으며, 이는 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 스티펠 레이어의 차원 수가 세밀한 인식에서 분류 성능에 어떤 영향을 미치는가?
• RQ5 스티펠 레이어는 아키텍처 수정 없이도 세밀한 이미지 분류에서 전용 아키텍처와 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 스티펠 레이어 덕분에 STL-10 데이터셋에서 LeNet의 정확도가 51.4%에서 62.1%로 향상되었다.
• CUB-200 새 데이터셋에서 AlexNet의 정확도가 68.4%에서 70.5%로 상승했다.
• Cars-196 데이터셋에서 VGG-VD의 정확도가 86.0%에서 87.9%로 향상되었다.
• VGG-M의 fc7 레이어를 저랭크 스티펠 기반 근사로 교체함으로써 파라미터 수를 16.7M에서 745K로 줄였고, 정확도는 77.5%에서 82.0%로 상승했다.
• 새로운 데이터셋에서 64차원의 스티펠 레이어는 75.6%의 정확도를 기록하여 낮은 차원에서도 뛰어난 성능을 보였다.
• 항공기 데이터셋에서 스티펠 레이어는 84.3%의 정확도를 달성했으며, B-CNN(84.1%)과 유사한 성능을 보였고, 아키텍처 수정 없이도 경쟁 가능했다.