[논문 리뷰] Sparse Activity and Sparse Connectivity in Supervised Learning

Markus Thom, Günther Palm|arXiv (Cornell University)|2016. 03. 28.

Machine Learning and ELM참고 문헌 79인용 수 38

한 줄 요약

이 논문은 Hoyer의 정규화된 희박성 측정법에 기반한 미분 가능한 희박성 투영 연산자를 통해 활성화의 희박성과 연결성의 희박성을 동시에 강제하는 지도 학습 모델을 제안한다. 기울기 기반 최적화를 통한 엔드 투 엔드 훈련을 가능하게 함으로써, 병합된 희박성은 비희박 기반 모델 대비 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Sparseness is a useful regularizer for learning in a wide range of applications, in particular in neural networks. This paper proposes a model targeted at classification tasks, where sparse activity and sparse connectivity are used to enhance classification capabilities. The tool for achieving this is a sparseness-enforcing projection operator which finds the closest vector with a pre-defined sparseness for any given vector. In the theoretical part of this paper, a comprehensive theory for such a projection is developed. In conclusion, it is shown that the projection is differentiable almost everywhere and can thus be implemented as a smooth neuronal transfer function. The entire model can hence be tuned end-to-end using gradient-based methods. Experiments on the MNIST database of handwritten digits show that classification performance can be boosted by sparse activity or sparse connectivity. With a combination of both, performance can be significantly better compared to classical non-sparse approaches.

연구 동기 및 목표

• 신경망 활성화 및 가중치에서 정해진 희박 수준을 강제하는 미분 가능한 희박성 투영 연산자를 개발하는 것.
• 희박한 활성화와 희박한 연결성을 통합한 유일한 지도 학습 프레임워크를 구축하여 분류 성능을 향상시키는 것.
• 기존 알고리즘의 격차를 메우기 위해 희박성 투영에 수학적으로 엄밀한 기반을 마련하는 것.
• 기울기 기반 최적화를 사용하여 희박성 제약 조건이 있는 모델의 엔드 투 엔드 훈련을 가능하게 하는 것.

제안 방법

• 핵심 방법은 주어진 입력에 대해 사전 정의된 Hoyer 희박성 값과 가장 가까운 벡터를 찾는 희박성 강제 투영 연산자를 사용하는 것이다.
• 투영은 L1 및 L2 노름 제약 조건에 대한 제약 최적화 문제로 공식화되어, 목표 희박성 수준이 달성되도록 보장된다.
• 투영 연산자가 거의 모든 곳에서 미분 가능하다는 것이 증명되었으며, 이는 역전파에서 부드러운 활성화 함수로 사용될 수 있음을 의미한다.
• 모델은 복원 모듈(희박 오토에인코드 제약 조건이 있는)과 분류 헤드(교차 엔트로피 손실이 있는)로 구성된 이단계 아키텍처에 투영을 통합한다.
• 기울기는 표준 역전파를 사용하여 계산되며, 유사도 측정 및 희박성 투영에 대한 명시적 도함수 유도가 제공된다.
• 전체 손실는 복원 오차와 분류 오차의 볼록 조합으로 구성되어 있어, 희박성과 예측 성능를 함께 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 신경망 활성화 및 가중치에서 원하는 수준의 희박성을 강제하는 미분 가능한 희박성 투영 연산자를 구성할 수 있는가?
• RQ2 희박한 활성화와 희박한 연결성의 통합은 지도 학습에서 분류 성능에 어떤 영향을 미치는가?
• RQ3 제안된 희박성 투영 연산자는 엔드 투 엔드 기울기 기반 훈련과 호환되는가?
• RQ4 희박한 활성화와 희박한 연결성 중 어느 것이 분류 정확도 향상에 더 기여하는가?
• RQ5 두 희박성 유형의 조합은 각각의 경우보다 성능 향상 효과를 낼 수 있는가?

주요 결과

• 제안된 희박성 투영 연산자는 거의 모든 곳에서 미분 가능하여 딥러닝 모델에서 부드럽고 학습 가능한 구성 요소로 사용될 수 있다.
• MNIST 데이터셋에서의 실험 결과, 희박한 활성화만 도입해도 비희박 기반 모델 대비 분류 성능 향상이 나타났다.
• 희박한 연결성만으로도 성능 향상이 발생하여, 구조적 희박성이 학습을 향상시킨다는 것을 시사한다.
• 희박한 활성화와 희박한 연결성의 조합은 각각의 희박성 유형만 사용할 경우보다 유의미하게 높은 분류 정확도를 달성한다.
• Hoyer 희박성 측정의 기울기가 명시적으로 도출되었으며, 이는 최적화 프레임워크에서의 사용을 지원한다.
• 낮은 활성 뉴런 수와 연결 수를 유지하면서도 성능 향상을 달성하여 효율성과 일반화 이점이 있음을 보여주었다.