[논문 리뷰] Weighted Sigmoid Gate Unit for an Activation Function of Deep Neural Network

Masayuki Tanaka|arXiv (Cornell University)|2018. 10. 03.

Advanced Image Processing Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 새로운 활성화 함수인 가중치를 적용한 시그모이드 게이트 유닛(WiG)을 제안한다. WiG는 입력 특징과 시그모이드 게이트를 통한 가중치 변환의 원소별 곱을 계산하며, ReLU와 Swish를 일반화한다. 실험 결과, 객체 인식(CIFAR-10/100) 및 이미지 노이즈 제거 작업에서 기존 활성화 함수를 능가하며, 최신의 PSNR 및 SSIM 점수를 달성한다.

ABSTRACT

An activation function has crucial role in a deep neural network. A simple rectified linear unit (ReLU) are widely used for the activation function. In this paper, a weighted sigmoid gate unit (WiG) is proposed as the activation function. The proposed WiG consists of a multiplication of inputs and the weighted sigmoid gate. It is shown that the WiG includes the ReLU and same activation functions as a special case. Many activation functions have been proposed to overcome the performance of the ReLU. In the literature, the performance is mainly evaluated with an object recognition task. The proposed WiG is evaluated with the object recognition task and the image restoration task. Then, the expeirmental comparisons demonstrate the proposed WiG overcomes the existing activation functions including the ReLU.

연구 동기 및 목표

• 딥 러닝에서 ReLU 및 기존 비선형 활성화 함수의 한계를 해결하기 위해.
• 기존의 시그모이드 게이트 유닛을 일반화하는 더 유연하고 학습 가능한 활성화 메커니즘을 제안하기 위해.
• 표준 객체 인식 외 다양한 작업에 대해 제안된 활성화 함수를 평가하기 위해.
• 분류 및 이미지 복원 벤치마크에서 뛰어난 성능을 입증하기 위해.

제안 방법

• WiG 활성화 함수는 f(x) = x ⊙ σ(Wg x + bg)로 정의되며, 여기서 ⊙는 원소별 곱셈을 의미하고, σ는 시그모이드 함수이며, Wg, bg는 학습 가능한 파라미터이다.
• 이 방법은 Sigmoid-가중선형 유닛(SiL)과 Swish를 확장하여 입력에 따라 가변적인 게이팅을 위한 학습 가능한 가중치 행렬 Wg을 도입한다.
• 합성곱 신경망의 경우, WiG는 컨볼루션 커널 wg와 편향 맵 Bg를 사용하여 구현되며, 공간적으로 적응적인 게이팅을 가능하게 한다: F(X) = X ⊙ σ(wg * X + Bg).
• 사슬 법칙을 사용하여 WiG의 도함수를 유도함으로써, 비선형 게이팅 메커니즘을 통해 역전파를 가능하게 한다.
• 아키텍처는 선형 가중치 레이어 뒤에 WiG를 통합하여, 학습 가능한 블록 Wx ⊙ σ(Vx)를 형성하며, 여기서 V = W Wg이다.
• 분류 작업에서는 categorical cross-entropy 손실을, 노이즈 제거 작업에서는 MSE 손실을 사용하며, Adamax 옵timizer를 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한, 입력에 따라 변하는 게이팅 메커니즘이 고정된 활성화 함수인 ReLU보다 성능을 향상시킬 수 있는가?
• RQ2 제안된 WiG 활성화 함수가 SiL 및 Swish와 같은 기존의 시그모이드 게이트 유닛을 일반화하는가?
• RQ3 WiG는 객체 인식 및 이미지 복원 작업 모두에서 ReLU 및 기타 고급 활성화 함수를 능가할 수 있는가?
• RQ4 이미지 노이즈 제거 작업에서 WiG의 성능은 다양한 노이즈 수준에 따라 어떻게 변화하는가?

주요 결과

• CIFAR-100에서 WiG는 검증 정확도 94.9%를 기록하여 ReLU(93.5%) 및 Swish(93.5%)를 크게 앞서갔다.
• CIFAR-10에서 WiG는 94.9%의 정확도를 달성하여 ReLU(93.5%) 및 Swish(93.5%)를 초월했다.
• 이미지 노이즈 제거 작업에서 5 dB 노이즈 조건에서 WiG는 PSNR 37.29 dB를 기록했으며, ReLU(37.13 dB) 및 Swish(37.13 dB)를 뛰어넘었다.
• 30 dB 노이즈 조건에서는 WiG가 PSNR 29.10 dB를 기록하여 ReLU(28.96 dB) 및 Swish(28.93 dB)를 앞섰다.
• SSIM 평가에서 WiG는 5 dB 노이즈 조건에서 0.9390을 기록했으며, ReLU(0.9383) 및 Swish(0.9377)보다 높았다.
• CIFAR 데이터셋에서 WiG는 다른 활성화 함수보다 빠른 수렴 속도와 낮은 훈련 교차 엔트로피 손실을 보였다.