[논문 리뷰] Learning Neuron Non-Linearities with Kernel-Based Deep Neural Networks

Giuseppe Marra, Dario Zanca외 2명|arXiv (Cornell University)|2018. 07. 17.

Neural Networks and Applications참고 문헌 11인용 수 3

한 줄 요약

이 논문은 정규화된 최적화 프레임워크 내에서 커널 전개를 통해 최적의 뉴런 활성화 함수를 학습하는 커널 기반 딥 뉴럴 네트워크(KBDNNs)를 제안한다. 이는 장기 시퀀스 작업에서 뛰어난 성능을 발휘한다. 표준 ReLU나 LSTM 유닛과 달리, 학습된 비선형성은 비단조화적이며 수축성과 확장성 행동을 번갈아가며 나타나, 기울기 소실 문제를 효과적으로 완화하고 KBRN이 길이 200에 이르는 시퀀스에서도 장기 의존성을 높은 정확도로 포착할 수 있게 한다.

ABSTRACT

The effectiveness of deep neural architectures has been widely supported in terms of both experimental and foundational principles. There is also clear evidence that the activation function (e.g. the rectifier and the LSTM units) plays a crucial role in the complexity of learning. Based on this remark, this paper discusses an optimal selection of the neuron non-linearity in a functional framework that is inspired from classic regularization arguments. It is shown that the best activation function is represented by a kernel expansion in the training set, that can be effectively approximated over an opportune set of points modeling 1-D clusters. The idea can be naturally extended to recurrent networks, where the expressiveness of kernel-based activation functions turns out to be a crucial ingredient to capture long-term dependencies. We give experimental evidence of this property by a set of challenging experiments, where we compare the results with neural architectures based on state of the art LSTM cells.

연구 동기 및 목표

• 장기 의존성 학습을 방해하는 고정된 단조성 활성화 함수의 한계를 해결하기 위해.
• 모든 네트워크 가중치와 뉴런 비선형성을 정규화를 통해 동시에 최적화하는 통합 프레임워크를 개발하기 위해.
• 커널 기반 활성화 함수가 순차적 데이터에서 장거리 의존성을 포착하는 데 있어 표준 LSTM 유닛을 능가할 수 있는지 조사하기 위해.
• 비단조화적이고 커널 유도된 활성화 함수가 깊이 있는 순환 아키텍처에서 기울기 흐름을 향상시키는 데 이론적이고 경험적으로 증명하기 위해.

제안 방법

• 학습 문제를 네트워크 가중치와 기능적 활성화 매개변수에 대한 정규화된 최적화 문제로 설정하며, 학습 데이터 포인트에 대한 커널 전개를 사용한다.
• 각 뉴런의 활성화 함수를 커널 전개로 표현한다: $ f(x) = \sum_{i=1}^{d} \alpha_i K(x, x_i) $, 여기서 $ x_i $는 학습 세트의 중심점이다.
• 안정성과 일반화를 확보하기 위해 정규화된 커널 표현을 사용하며, 실험에서는 $ d=100 $개의 중심점을 사용한다.
• Adam 옵timizer를 사용하여 엔드 투 엔드로 모델을 훈련하며, $ \lambda = 0.001 $을 설정하여 가중치와 커널 계수를 동시에 업데이트한다.
• 비단조화 활성화 함수를 통해 수축성과 확장성 동역학의 조합을 모델링함으로써, 이 프레임워크를 순환 네트워크로 확장한다.
• 장기 시퀀스의 첫 번째 몇 비트에만 구분 정보가 존재하는 벤치마크를 설계하여, 초기 정보 유지 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 커널 기반 활성화 함수가 ReLU나 시그모이드와 같은 고정된 비선형성보다 장기 의존성을 더 잘 포착할 수 있는가?
• RQ2 커널 기반 활성화 함수가 비단조화적일 수 있음으로써 순환 네트워크에서 기울기 흐름을 향상시키고 기울기 소실을 방지하는 데 기여하는가?
• RQ3 비판적 정보가 시퀀스의 시작부분에만 존재할 경우, KBDNNs가 얼마나 긴 시퀀스로 일반화할 수 있는가?
• RQ4 시퀀스 길이가 증가함에 따라 KBRN의 성능은 최신 기술 기반 LSTM 아키텍처와 비교해 어떻게 되는가?

주요 결과

• KBRN은 길이 150 이하의 모든 벤치마크에서 거의 완벽한 성공률을 기록했으며, 등가성(≡) 함수를 포함하여 길이 150까지 성공적으로 처리했다. 반면 LSTMs의 성능은 길이 30를 넘어서면서 떨어지기 시작했다.
• ≡ 함수의 경우, KBRN은 길이 150에서 5번의 실험 전부에서 성공했지만, 길이 200에서는 실패하여 이 설정에서의 실질적인 상한선가 약 150임을 시사했다.
• KBRN은 LSTM 네트워크보다 훨씬 더 신속하게 수렴했으며, 시퀀스 길이가 증가할수록 평균 학습 반복 횟수가 감소했다. 반면 LSTM은 반복 횟수가 증가하고 수렴에 실패하는 경우가 많았다.
• 학습된 활성화 함수의 비단조화적 성격 덕분에 시퀀스 처리 중 수축성과 확장성 행동이 번갈아 나타나, 장거리 의존성의 효과적인 역전파가 가능했다.
• 모든 네 가지 부울 함수(OR, AND, XOR, EQUIVALENCE)에서 KBRN은 테스트된 모든 시퀀스 길이에서 90~100%의 성공률를 기록했고, LSTMs는 길이 30를 초과하는 시퀀스에서는 성공률가 50% 이하로 떨어졌다.
• 결과는 커널 기반 활성화 함수가 전통적인 고정 비선형성보다 순환 아키텍처에서 더 강력하고 표현력 있는 인덕티브 바이어스를 제공함을 보여준다.