[논문 리뷰] How Can We Be So Dense? The Benefits of Using Highly Sparse Representations

Subutai Ahmad, Luiz Scheinkman|arXiv (Cornell University)|2019. 03. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 64

한 줄 요약

논문은 고차원 희소 표현을 주장하고, k-winners와 boosting이 있는 희소 심층 네트워크를 소개하며, MNIST와 Google Speech Commands에서 노이즈 강건성과 경쟁력 있는 정확도를 보이는 개선을 제시한다.

ABSTRACT

Most artificial networks today rely on dense representations, whereas biological networks rely on sparse representations. In this paper we show how sparse representations can be more robust to noise and interference, as long as the underlying dimensionality is sufficiently high. A key intuition that we develop is that the ratio of the operable volume around a sparse vector divided by the volume of the representational space decreases exponentially with dimensionality. We then analyze computationally efficient sparse networks containing both sparse weights and activations. Simulations on MNIST and the Google Speech Command Dataset show that such networks demonstrate significantly improved robustness and stability compared to dense networks, while maintaining competitive accuracy. We discuss the potential benefits of sparsity on accuracy, noise robustness, hyperparameter tuning, learning speed, computational efficiency, and power requirements.

연구 동기 및 목표

• dense에서 sparse 표현으로의 전환을 노이즈 및 간섭에 대한 강건성 분석으로 동기를 부여한다.
• 고차원성을 활용하기 위한 희소 가중치와 활성화를 갖는 확장 가능한 희소 네트워크 아키텍처를 제안한다.
• MNIST와 Google Speech Commands에서 정확도를 유지하면서 강건성 개선을 보여준다.
• 학습 속도, 전력 효율성, 하이퍼파라미터 튜닝의 잠재적 이점을 논의한다.

제안 방법

• 고차원 희소 표현과 매칭 부피의 이론적 특성을 개발한다.
• 희소 가중치 행렬과 k-winners 활성화 스키마를 갖는 희소 네트워크를 정의한다.
• 유닛 사용을 균등화하고 표현 엔트로피를 극대화하기 위한 boosting 메커니즘을 도입한다.
• MNIST와 Google Speech Commands 설정에서 CNN과 완전 연결 네트워크에 희소 아키텍처를 적용한다.
• 조정된 하이퍼파라미터로 표준 역전파를 사용해 학습하고 밀집 기준선과 비교한다.
• 계산 효율성 및 잠재적 하드웨어 이점에 대한 논의를 제공한다.

실험 결과

연구 질문

• RQ1 고차원 희소 표현이 밀집 표현에 비해 노이즈와 간섭에 대한 강건성을 향상시키는가?
• RQ2 희소 가중치와 k-winners 활성화로 실현 가능한 희소 네트워크가 정확도를 유지하면서 강건성을 높일 수 있는가?
• RQ3 노이즈 조건에서 이미지와 오디오 벤치마크(MNIST와 Google Speech Commands)에서 희소 네트워크가 밀집 네트워크에 비해 어떤 성능을 보이는가?
• RQ4 표준 딥러닝 프레임워크에서 희소 네트포를 구현할 때의 실용적 계산 및 하드웨어 고려사항은 무엇인가?

주요 결과

• 희소 표현은 희소성을 유지할 때 차원이 증가함에 따라 노이즈와 간섭에 대한 강건성을 보인다.
• 무작위 희소 가중치와 k-winners 활성화를 갖춘 희소 심층 네트워크가 경쟁력 있는 정확도를 달성하면서 MNIST와 Google Speech Commands에서 노이즈 강건성을 크게 향상시킨다.
• 여러 수준에서의 희소성(가중치와 활성화)을 도입하면 0이 아닌 곱셈의 감소와 잠재적 전력 절감이 크게 나타나며 강건성 이점이 있다.
• 드롭아웃은 희소 네트워크에 항상 유익하지 않으며 일부 설정에서 강건성을 감소시킬 수 있다; 희소성 자체가 강건성에 기여한다.
• 이 결과는 MNIST에서 음성 명령 데이터세트로 일반화되며 희소 표현의 도메인 간 광범위한 적용 가능성을 시사한다.