[논문 리뷰] Understanding Locally Competitive Networks

Rupesh K. Srivastava, Jonathan Masci외 2명|arXiv (Cornell University)|2014. 10. 05.

Advanced Neural Network Applications참고 문헌 17인용 수 14

한 줄 요약

이 논문은 국소적으로 경쟁적인 신경망(ReLU, maxout, 또는 LWTA 활성화 함수를 사용)이 다양한 입력에 대해 동적으로 활성화되는 하위망(subnetworks)의 앙상블으로 기능하며, 이로 인해 효율적이고 모odu lar한 학습과 효과적인 특징 검색이 가능하다고 제안한다. 핵심 기여는 하위망 활성화 패턴(submasks)이 추가 학습 없이도 효율적인 유사도 검색을 위한 압축된 이진 기술자로 기능할 수 있음을 보여주는 것이다. 이는 연속적인 활성화 벡터보다 검색 작업에서 뛰어난 성능을 보이며, 추가 학습이 필요로 하지 않는다.

ABSTRACT

Recently proposed neural network activation functions such as rectified linear, maxout, and local winner-take-all have allowed for faster and more effective training of deep neural architectures on large and complex datasets. The common trait among these functions is that they implement local competition between small groups of computational units within a layer, so that only part of the network is activated for any given input pattern. In this paper, we attempt to visualize and understand this self-modularization, and suggest a unified explanation for the beneficial properties of such networks. We also show how our insights can be directly useful for efficiently performing retrieval over large datasets using neural networks.

연구 동기 및 목표

• 국소적으로 경쟁적인 활성화 함수인 ReLU, maxout, LWTA가 딥 네트워크에서 학습 속도와 성능을 향상시키는 이유를 이해하는 것.
• 동적 하위망 활성화를 통한 이러한 네트워크의 자가모듈화 메커니즘을 설명하는 것.
• 하위망 활성화 패턴(submasks)이 추가 학습 없이도 효과적이고 효율적인 기술자로 검색에 사용될 수 있음을 보여주는 것.
• 다양한 국소적으로 경쟁적인 활성화 함수들이 공통의 모델-오브-모델 프레임워크 아래 통합되는 방식을 설명하는 것.
• submask 기반 검색이 MNIST, CIFAR, ImageNet에서 경쟁적인 성능을 보이며, 일부 경우에서 전용 해싱 방법을 초월할 수 있음을 보여주는 것.

제안 방법

• 저자는 ReLU, maxout, LWTA 유닛의 비영 활성화된 하위망을 다양한 입력에서 분석하여, 각 하위망을 별개의 선형 모델로 간주한다.
• 하위망 활성화 패턴을 나타내는 'submasks'(이진 벡터) 개념을 도입하며, 이는 주어진 입력에 대해 레이어에서 활성화된 유닛을 나타낸다.
• 이 방법은 국소적으로 경쟁적인 활성화를 갖는 표준 분류 네트워크에서 경사 하강법를 사용하지만, 손실 함수나 학습 절차를 수정하지 않는다.
• submask 유사도는 해밍 거리(Hamming distance)를 통해 계산되어 대규모 데이터셋에서 빠른 검색을 가능하게 한다.
• 정밀도-재현율 및 평균 평균 정확도(mAP) 지표를 사용하여 MNIST, CIFAR-10, CIFAR-100, ImageNet에서 평가한다.
• 저자는 훈련된 네트워크의 하위망 활성화 패턴에서 직접적으로 기술자를 추출하여 검색에 사용할 수 있음을 보여준다. 추가 감독이나 학습이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 ReLU, maxout, LWTA와 같은 국소적으로 경쟁적인 활성화 함수가 딥 네트워크에서 더 효과적인 학습과 더 나은 일반화를 가능하게 하는 이유는 무엇인가?
• RQ2 이러한 네트워크가 학습 중에 더 나은 책임 할당과 간섭 감소를 달성하는 데 기여하는 기본 메커니즘은 무엇인가?
• RQ3 훈련된 네트워크에서 활성화된 유닛 패턴(하위망)이 검색 작업에 대해 의미 있고 압축된 표현으로 사용될 수 있는가?
• RQ4 submask 기반 검색은 연속적인 활성화 벡터나 전용 해싱 알고리즘을 사용하는 전통적 방법과 비교하여 어떻게 다를까?
• RQ5 submasks는 다양한 복잡도의 데이터셋 간에 데이터의 기저 맨ifold를 얼마나 잘 반영하고 일반화하는가?

주요 결과

• ReLU, maxout, LWTA 유닛이 활성화하는 하위망은 유사한 입력 패턴이 유사한 유닛 조합을 활성화하는 모듈러 구조를 보이며, 이는 모델-오브-모델 가설을 지지한다.
• 추론 과정에서 형성된 하위망은 매우 다양하며, 10개 유닛의 ReLU 레이어에서 100개의 테스트 예제에 대해 100개 이상의 서로 다른 하위망이 활성화되어 풍부한 표현 능력을 보인다.
• submask 기반 검색은 MNIST, CIFAR-10, CIFAR-100, ImageNet에서 경쟁적인 성능을 보이며, mAP 값이 전용 해싱 알고리즘과 유사하거나 이를 상회한다.
• 추가 학습이나 감독 없이도 표준 분류 네트워크의 하위망 활성화 패턴에서 직접 이진 기술자를 추출할 수 있다.
• 네트워크 정확도가 향상될수록 submask 기반 검색과 활성화 기반 검색 간의 성능 격차가 줄어들며, 이는 더 나은 모델에서 submasks가 점점 더 효과적으로 작용할 것임을 시사한다.
• 연속적인 활성화 벡터에 비해 submasks는 저장 및 검색 측면에서 훨씬 효율적이며, 대규모 응용에 실용적인 이점을 제공한다.