[논문 리뷰] Learning the Non-linearity in Convolutional Neural Networks

Gavneet Singh Chadha, Andreas Schwung|arXiv (Cornell University)|2019. 05. 29.

Neural Networks and Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 수용성 영역에 적용되는 학습 가능한 지수 비선형성(Exponent Weight Matrix, EWM)을 통해 특징 학습을 향상시키는 비선형 컨볼루션 신경망(NLCNNs)을 제안한다. 이 방법은 시간 시리즈 데이터—특히 테네시 이스트먼 프로세스와 같은 비선형 시스템—에서 표현 능력을 향상시키고 최적화 과정의 어려움을 줄여 분류 성능을 향상시키며, EWM의 엔드 투 엔드 학습이 고정 또는 데이터 증강 전용 접근 방식보다 뛰어난 성능을 내는 데 기여한다.

ABSTRACT

We propose the introduction of nonlinear operation into the feature generation process in convolutional neural networks. This nonlinearity can be implemented in various ways. First we discuss the use of nonlinearities in the process of data augmentation to increase the robustness of the neural networks recognition capacity. To this end, we randomly disturb the input data set by applying exponents within a certain numerical range to individual data points of the input space. Second we propose nonlinear convolutional neural networks where we apply the exponential operation to each element of the receptive field. To this end, we define an additional weight matrix of the same dimension as the standard kernel weight matrix. The weights of this matrix then constitute the exponents of the corresponding components of the receptive field. In the basic setting, we keep the weight parameters fixed during training by defining suitable parameters. Alternatively, we make the exponential weight parameters end-to-end trainable using a suitable parameterization. The network architecture is applied to time series analysis data set showing a considerable increase in the classification performance compared to baseline networks.

연구 동기 및 목표

• 기본 CNN의 표현 능력이 제한되어 있어 본질적으로 비선형 과정을 모델링하는 데 어려움을 겪는 문제를 해결하기 위해, 특히 시간 시리즈 분석에서의 비선형 과정을 다루기 위함이다.
• 입력 데이터 포인트의 무작위 승수 적용을 통한 비선형 데이터 증강을 도입하여 강건성과 일반화 능력을 향상시키기 위함이다.
• 엔드 투 엔드로 학습 가능한 지수 가중치 행렬(EWM)을 갖춘 새로운 CNN 아키텍처를 제안하여 비선형 변환을 컨볼루션 연산 내부에서 직접 적용하기 위함이다.
• 실제 비선형 시간 시리즈 데이터셋—테네시 이스트먼 프로세스와 같은—에서 분류 정확도 향상에 기여하는 비선형 연산의 효과를 평가하기 위함이다.

제안 방법

• 입력 데이터 포인트에 대해 균일한 범위 [-2, 4]에서 무작위로 승수를 할당하여 비선형 데이터 증강을 도입함으로써 학습 중 강건성을 향상시킨다.
• 각 수용성 영역의 요소를 커널과 같은 크기의 추가적인 가중치 행렬(EWM)에 의해 정의된 학습 가능한 승수로 올리는 비선형 컨볼루션 연산을 제안한다.
• EWM는 특징 맵 내 모든 뉴런에 공유되며, 의미 있는 패턴으로 초기화하거나 표준 컨볼루션 가중치와 함께 엔드 투 엔드로 학습할 수 있다.
• EWM가 미분 가능하고 학습 가능한 파arameterization을 도입하여 백프로파게이션 동안 최적의 비선형성을 학습할 수 있도록 한다.
• 표준 CNN 아키텍처를 사용하며, 선형 조합 이전에 요소별 승수 적용을 수행하는 수정된 컨볼루션 레이어를 적용함으로써 계산 효율성을 유지한다.
• 데이터를 평균 0, 공분산 1로 정규화한 후, 테네시 이스트먼 프로세스 벤치마크를 사용하여 시간 시리즈 분류에 적용한다.

실험 결과

연구 질문

• RQ1 무작위 승수 적용을 통한 비선형 데이터 증강이 시간 시리즈 분류 과제에서 CNN의 일반화 능력과 강건성을 향상시키는가?
• RQ2 컨볼루션 연산 내부에 학습 가능한 지수 비선형성을 직접 통합함으로써 CNN의 비선형 시스템에 대한 표현 능력이 향상되는가?
• RQ3 EWM의 엔드 투 엔드 학습 방식이 고정 또는 무작위로 샘플링된 EWM와 비교해 분류 성능에 어떤 영향을 미치는가?
• RQ4 제안된 비선형 CNN 아키텍처는 최적화 과정에서 국소 최솟값에 대한 민감도를 어느 정도 감소시키는가?
• RQ5 NLCNN 프레임워크는 테네시 이스트먼 프로세스와 같은 실제 산업적 비선형 복잡 시스템에 효과적으로 적용될 수 있는가?

주요 결과

• 무작위 승수 적용을 통한 비선형 데이터 증강은 표준 CNN보다 분류 성능을 향상시키지만, 비최적의 승수 선택은 성능 저하를 초래할 수 있다.
• 고정된 EWM 매트릭스 도입은 컨볼루션 레이어 내에서 비선형 특징 변환을 가능하게 하여 모델의 표현 능력을 크게 향상시킨다.
• EWM의 엔드 투 엔드 학습은 고정 EWM 및 기준 CNN보다 분류 정확도 향상에 뚜렷한 기여를 한다.
• 제안된 NLCNN 아키텍처는 복잡하고 비선형적인 산업 시간 시리즈 데이터셋인 테네시 이스트먼 프로세스 벤치마크에서 개선된 강건성과 일반화 능력을 보였다.
• 추가 파라미터가 최소한으로 증가하여 다른 비선형 커널 기반 접근 방식보다 효율적인 학습과 더 나은 일반화를 가능하게 한다.
• 초기 결과는 비선형 연산이 손실 곡면을 평탄하게 만들어 최적화 과정에서 국소 최솟값에 덜 민감해지는 경향을 보임을 시사한다.