[논문 리뷰] Sparse Penalty in Deep Belief Networks: Using the Mixed Norm Constraint

Xanadu Halkias, Sébastien Paris외 1명|arXiv (Cornell University)|2013. 01. 16.

Bayesian Modeling and Causal Inference인용 수 16

한 줄 요약

이 논문은 딥 벨리프 네트워크(DBNs)에서 희소성(스퍼스티)을 강제하기 위해 혼합 노름 정규화(l1,2)를 사용하는 것을 제안한다. 이는 비중복 및 중복 그룹의 히든 유닛에 모두 적용된다. 이 방법은 숫자 인식 작업에서 특징 학습과 분류 정확도를 향상시키며, 더 큰 그룹 크기(예: 10–100 단위)에서 최적의 성능을 보이며, MNIST에서 최대 98.83%의 정확도를 달성한다. 반면 중복 그룹은 과도한 희소성으로 인해 낮은 정확도를 보였다.

ABSTRACT

Deep Belief Networks (DBN) have been successfully applied on popular machine learning tasks. Specifically, when applied on hand-written digit recognition, DBNs have achieved approximate accuracy rates of 98.8%. In an effort to optimize the data representation achieved by the DBN and maximize their descriptive power, recent advances have focused on inducing sparse constraints at each layer of the DBN. In this paper we present a theoretical approach for sparse constraints in the DBN using the mixed norm for both non-overlapping and overlapping groups. We explore how these constraints affect the classification accuracy for digit recognition in three different datasets (MNIST, USPS, RIMES) and provide initial estimations of their usefulness by altering different parameters such as the group size and overlap percentage.

연구 동기 및 목표

• 딥 벨리프 네트워크(DBNs)에서 특징 표현과 분류 정확도를 향상시키기 위해 혼합 노름 정규화를 통해 희소성을 강제하고자 한다.
• 특히 비중복 및 중복 그룹의 구조가 숫자 인식 작업에서 모델 성능에 미치는 영향을 조사하고자 한다.
• DBN 아키텍처에서 RBM 히든 유닛에 혼합 노름 제약(l1,2)을 적용하는 실용적인 프레임워크를 제공하고자 한다.
• 다양한 그룹 크기와 중복 비율에서 분류 정확도와 계산 비용 간의 트레이드오프를 평가하고자 한다.

제안 방법

• 제한된 볼츠만 기계(RBMs)의 히든 유닛 활성도 확률에 l1,2 혼합 노름 정규화를 적용한다.
• 히든 유닛을 비중복 또는 중복 그룹으로 나누어 그룹 기반 희소성을 구현하며, 그룹 크기는 5, 10, 20, 50, 100으로 설정한다.
• 고정된 정규화 파rameter λ = 0.1을 사용하여 음의 로그우도에 대한 경사 하강법을 통해 정규화기를 구현한다.
• 효율적인 RBM 학습을 위해 대trastive Divergence(CD)를 사용하고, 소프트맥스 출력 레이어에서 공액 기울기(conjugate gradient)를 사용해 전체 DBN을 피니터닝한다.
• MNIST, USPS, RIMES 데이터셋에서 사전 학습된 500-500-2000 DBN 아키텍처에 이 방법을 적용한다.
• 배치 처리를 통해 평균 활성도 확률 밀도 함수를 계산하여 희소성 패턴의 시각화 및 분석을 수행한다.

실험 결과

연구 질문

• RQ1 혼합 노름 정규화(l1,2)의 사용이 수기 숫자 인식을 위한 DBNs의 분류 정확도에 어떤 영향을 미치는가?
• RQ2 비중복 그룹 구성에서 그룹 크기(5, 10, 20, 50, 100)를 변화시켰을 때 성능 및 희소성에 어떤 영향을 미치는가?
• RQ3 20% 및 50%의 중복 비율을 가진 중복 그룹은 비중복 그룹에 비해 정확도와 계산 비용 측면에서 어떻게 비교되는가?
• RQ4 혼합 노름 정규화는 히든 유닛의 구조적 희소성(스퍼스티)을 촉진함으로써 특징 학습을 향상시킬 수 있는가?
• RQ5 다양한 희소성 제약을 적용했을 때 모델 정확도와 학습 시간 사이의 트레이드오프는 어떠한가?

주요 결과

• 제안된 혼합 노름 DBN은 MNIST 데이터셋에서 98.83%의 분류 정확도를 달성하여 표준 DBN과 동일한 성능을 보였다.
• 비중복 그룹 구성에서 더 큰 그룹 크기(10–100)일수록 높은 정확도를 기록했으며, 그룹 크기 10일 경우 98.83%, 100일 경우 98.80%의 정확도를 기록했다.
• 중복 그룹 구성은 상당히 낮은 정확도를 보였는데, 예를 들어 RIMES와 MNIST에서 각각 95.10% (20/20%) 및 93.50% (20/50%)의 정확도를 기록했다. 이는 과도한 희소성으로 인해 활성도가 0에 가까워지기 때문이다.
• 중복 그룹일수록 계산 비용이 증가했으며, RIMES 및 MNIST에서 일부 구성에서 학습 시간이 60시간을 초과했다.
• 활성도 확률의 시각화 결과, 중복 그룹 모델은 활성도 확률을 0으로 강하게 유도하는 경향을 보였으며, 이는 과도한 프루닝(자르기)를 의미한다.
• l1,2 정규화기는 구조적 희소성을 가능하게 했지만, 그 효과는 그룹 크기와 중복 비율에 매우 민감했으며, 최적의 성능은 큰 비중복 그룹에서 나타났다.