[논문 리뷰] LDMNet: Low Dimensional Manifold Regularized Neural Networks

Wei Zhu, Qiang Qiu외 4명|arXiv (Cornell University)|2017. 11. 16.

Face recognition and analysis참고 문헌 24인용 수 4

한 줄 요약

LDMNet는 입력 데이터와 네트워크 특징이 낮은 차원의 다양체 위에 위치하도록 유도하기 위해 변분 함수에서 다样的체 차원을 직접 페널티 처리하는 딥 뉴럴 네트워크 정규화 프레임워크이다. 이는 가중치 감쇠와 드롭아웃보다 교차 스펙트럼 얼굴 인식에서 10.5% 향상되어 제한된 훈련 데이터로 CASIA NIR-VIS 2.0 벤치마크에서 랭크-1 정확도 85.02%를 달성한다.

ABSTRACT

Deep neural networks have proved very successful on archetypal tasks for which large training sets are available, but when the training data are scarce, their performance suffers from overfitting. Many existing methods of reducing overfitting are data-independent, and their efficacy is often limited when the training set is very small. Data-dependent regularizations are mostly motivated by the observation that data of interest lie close to a manifold, which is typically hard to parametrize explicitly and often requires human input of tangent vectors. These methods typically only focus on the geometry of the input data, and do not necessarily encourage the networks to produce geometrically meaningful features. To resolve this, we propose a new framework, the Low-Dimensional-Manifold-regularized neural Network (LDMNet), which incorporates a feature regularization method that focuses on the geometry of both the input data and the output features. In LDMNet, we regularize the network by encouraging the combination of the input data and the output features to sample a collection of low dimensional manifolds, which are searched efficiently without explicit parametrization. To achieve this, we directly use the manifold dimension as a regularization term in a variational functional. The resulting Euler-Lagrange equation is a Laplace-Beltrami equation over a point cloud, which is solved by the point integral method without increasing the computational complexity. We demonstrate two benefits of LDMNet in the experiments. First, we show that LDMNet significantly outperforms widely-used network regularizers such as weight decay and DropOut. Second, we show that LDMNet can be designed to extract common features of an object imaged via different modalities, which proves to be very useful in real-world applications such as cross-spectral face recognition.

연구 동기 및 목표

• 훈련 데이터가 부족할 때 딥 뉴럴 네트워크에서 과적합을 해결하는 것, 이는 실세계 응용에서 흔한 과제이다.
• 데이터에 독립적인 정규화 기법인 가중치 감쇠와 드롭아웃의 한계를 극복하여 기저 데이터 기하학을 활용하지 못하는 점을 해결한다.
• 입력 데이터와 학습된 특징의 기하학적 구조를 명시적으로 모델링하는 데이터 의존성 정규화를 개발한다.
• 입력-특징 쌍이 낮은 차원의 다样的체를 샘플링하도록 유도하여 기하학적으로 의미 있는 특징을 학습할 수 있도록 한다.
• 이전의 다样的체 기반 방법에서 요구되는 명시적 다样的체 매개변수화 또는 인간이 제공한 탄젠트 벡터가 필요 없도록 한다.

제안 방법

• 다样的체 차원을 측정하는 미분기하학 기반 공식을 사용하여, 병합된 입력-특징 다样的체 $(\bm{x}_i, \bm{\xi}_i)$ 의 내재 차원을 페널티 처리하는 변분 함수를 제안한다.
• 결과적으로 유도된 손실 함수에 다样的체 차원 페널티를 정규화 항으로 통합하여 특징 공간 내 낮은 차원의 구조를 직접 유도한다.
• 결과로 유도된 오일러-라그란주 방정식을 교차 최적화를 통해 해결: 네트워크 가중치 최적화와 다样的체 표현 갱신을 반복적으로 수행한다.
• 점 적분 방법을 사용하여 점 클러스터에서 라플라스-벨트라미 방정식을 해결함으로써 명시적 다样的체 매개변수화 없이도 효율적인 계산을 가능하게 한다.
• SGD를 사용한 엔드 투 엔드 훈련에 프레임워크를 적용하고, VGG-face 특징에서 비선형 특징 임베딩을 학습하기 위해 두 층의 완전 연결 네트워크를 사용한다.
• 정규화와 네트워크 용량의 균형을 맞추기 위해 하이퍼파ram터 $\tilde{\lambda}, \mu, w$ 를 튜닝하고 검증 세트 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 입력과 특징 기하학을 모두 모델링하는 데이터 의존성 정규화가 낮은 데이터 환경에서 과적합을 상당히 감소시킬 수 있는가?
• RQ2 입력-특징 다样的체의 차원을 명시적으로 정규화하는 것이 가중치 감쇠나 드롭아웃과 같은 표준 정규화 기법보다 더 나은 일반화 성능을 제공하는가?
• RQ3 LDMNet는 동일한 객체의 다양한 촬영 모드(예: 가시광선 및 근적외선 얼굴 이미지)에서 특징이 공유하는 낮은 차원의 다样的체를 학습할 수 있는가?
• RQ4 제안된 방법은 확장성과 효율성을 갖추고 있으며, 표준 훈련 대비 계산 비용이 다소 증가하는가?
• RQ5 일조 및 센서 차이로 인한 도메인 이동이 발생하는 교차 스펙트럼 얼굴 인식에서 LDMNet는 더 강건하고 분리 가능한 특징을 추출할 수 있는가?

주요 결과

• LDMNet는 PCA 임베딩을 사용한 VGG-face 대비 10.5%p의 절대 정확도 향상을 달성하여 CASIA NIR-VIS 2.0 벤치마크에서 랭크-1 정확도를 74.51%에서 85.02%로 향상시켰다.
• 동일한 평가 프로토콜 하에서 트리플릿 손실과 저랭크 임베딩이 각각 75.96%와 80.69%를 기록한 것에 비해 LDMNet의 성능이 최신 기술을 초월한다.
• LDMNet로 학습된 특징은 1차원 및 0차원 다样的체(곡선 및 점)에 집중하는 경향을 보이며, 이는 기하학적 일관성을 나타내며, 가중치 감쇠나 드롭아웃에서 관찰되는 산만한 클러스터와는 대조된다.
• 교차 스펙트럼 얼굴 인식에서 LDMNet 하에 동일한 주제의 VIS 및 NIR 모달리티에서의 특징들이 하나의 낮은 차원의 다样的체로 융합되며, 더 나은 일반화를 가능하게 한다.
• 동일한 실험 설정에서 LDMNet는 가중치 감쇠(63.87%)와 드롭아웃(66.97%)보다 뚜렷이 뛰어나, 낮은 데이터 환경에서의 우수성을 입증한다.
• 계산 효율성을 유지하여, 라플라스-벨트라미 방정식 해법에 $O(N)$ 비용과 가중치 갱신에 $O(N\log N)$ 비용이 소요되어 대규모 학습에 실용적이다.