[논문 리뷰] Norm-preserving Orthogonal Permutation Linear Unit Activation Functions (OPLU)

Artem Chernodub, Dimitri Nowicki|arXiv (Cornell University)|2016. 04. 08.

Advanced Neural Network Applications참고 문헌 21인용 수 11

한 줄 요약

이 논문은 전방전파된 기울기의 노름을 엄격히 유지하는 조각별 선형 활성화 함수인 노름 보존 직교 치환 선형 유닛(OPLU)을 소개한다. 이는 사전 활성화 값의 직교 치환을 사용하여 이를 달성한다. OPLU는 MNIST 및 Adding 문제에서 ReLU와 tanh와 유사한 성능을 보이며, 순환 신경망에서 안정된 기울기 노름을 유지하여 깊이 있는 네트워크와 순환 네트워크의 훈련에 유망한 가능성을 보인다.

ABSTRACT

We propose a novel activation function that implements piece-wise orthogonal non-linear mappings based on permutations. It is straightforward to implement, and very computationally efficient, also it has little memory requirements. We tested it on two toy problems for feedforward and recurrent networks, it shows similar performance to tanh and ReLU. OPLU activation function ensures norm preservance of the backpropagated gradients, therefore it is potentially good for the training of deep, extra deep, and recurrent neural networks.

연구 동기 및 목표

• 깊이 있는 네트워크와 순환 신경망에서 기울기 소실/폭발 문제를 해결하기 위해, 특히 직교 가중치 초기화의 맥락에서.
• 백프로파게이션 동안 기울기 노름을 유지하는 활성화 함수를 개발하여 매우 깊은 네트워크의 안정적인 훈련을 가능하게 하기 위해.
• 기존 비선형 활성화 함수보다 계산 비용이 저렴하고 메모리 사용이 적으며, 직교성에 대한 강력한 이론적 기반을 지닌 대안을 제공하기 위해.
• OPLU의 타당성과 성능을 피드포워드 및 순환 아키텍처에서 평가하여, 장기 의존성 학습이 필요한 상황에서의 성능을 분석하기 위해.

제안 방법

• OPLU는 사전 활성화 벡터 $\mathbf{a}^{(n)}$ 에 대해 조각별 직교 치환을 적용하여 $\mathbf{z}^{(n)}$ 로 매핑하며, 치환 행렬 $\mathbf{P}$ 를 통해 $\|\mathbf{z}^{(n)}\| = \|\mathbf{a}^{(n)}\|$ 를 보장한다.
• OPLU의 도함수는 모든 점에서 직교 행렬이므로, 비선형성을 통과할 때도 역전파된 기울기의 노름이 그대로 유지됨을 보장한다.
• 함수는 $\mathbf{z}^{(n)} = \mathbf{P} \cdot \mathbf{a}^{(n)}$ 로 구현되며, $\mathbf{P}$ 는 $\mathbf{a}^{(n)}$ 의 부호 패턴에 기반하여 선택된다.
• OPLU는 전체 네트워크 흐름이 기울기 노름을 유지하도록 직교 가중치 행렬과 함께 사용되도록 설계되어 있다.
• 매우 비용이 많이 들지 않는 행렬 연산을 피하기 위해 오직 치환만을 사용함으로써 계산 효율성과 메모리 효율성을 확보한다.
• 저자들은 랜덤 반대칭 행렬의 행렬 지수를 사용하여 직교 초기화를 생성하였으며, 이는 MATLAB의 `orth()` 함수와 같은 기존 방법보다 우수한 성능을 보였다.

실험 결과

연구 질문

• RQ1 직교 가중치 행렬과 조합되었을 때, 조각별 선형 활성화 함수가 층 간 기울기 노름을 유지할 수 있는가?
• RQ2 피드포워드 네트워크에서 OPLU는 분류 정확도와 훈련 안정성 측면에서 ReLU와 tanh보다 어떻게 성능을 내는가?
• RQ3 OPLU는 기울기 소실이 주요 과제가 되는 긴 시퀀스 작업(예: Adding 문제)에서 순환 네트워크의 효과적인 훈련을 가능하게 하는가?
• RQ4 긴 시퀀스 길이 T=100 에서 OPLU는 짧은 길이에서의 성공과는 달리 Adding 문제에서 성공적으로 훈련되지 못하는 이유는 무엇인가?
• RQ5 OPLU는 기존 아키텍처인 Maxout과 이론적으로 연결될 수 있는가? 이 연결의 성격은 무엇인가?

주요 결과

• MNIST 데이터셋에서 OPLU는 최고 테스트 정확도 99.16%와 평균 정확도 99.06%를 기록하였으며, ReLU(최고 99.17%)와 tanh(최고 99.16%)와 유사한 성능을 보였다.
• T=30일 때 Adding 문제에서 OPLU는 최고 성공률 99.34%를 기록하여 tanh(99.24%)를 능가했으며, 수렴 속도도 빠르게 나타났다.
• T=50 및 T=70일 때 OPLU는 각각 최고 성공률 99.21% 및 99.43%를 유지하여 tanh보다 평균 성능에서 뛰어난 성능을 보였다.
• T=100일 때 OPLU의 최고 성공률은 16.33%로 떨어졌으며, 안정된 기울기 노름에도 불구하고 더 긴 시퀀스로의 일반화 실패를 시사했다.
• OPLU와 직교 가중치를 사용할 경우, 역전파된 기울기의 노름이 시간이 지남에 따라 일정하게 유지되었고, ReLU는 기울기 감쇠가 급격히 발생했으며 tanh는 불안정성을 보였다. 이는 노름 보존 성질을 확인한 것이다.
• OPLU의 구현은 치환만을 사용하므로 계산 비용이 저렴하고 메모리 사용이 최소화되어 매우 효율적이다.