[논문 리뷰] Dense Morphological Network: An Universal Function Approximator

Ranjan Mondal, Sanchayan Santra외 1명|arXiv (Cornell University)|2018. 09. 27.

Neural Networks and Applications참고 문헌 18인용 수 18

한 줄 요약

이 논문은 전통적인 선형 조합을 형태학적 연산(dilation 및 erosion)으로 대체하여 보편적인 함수 근사기로 기능하는 밀도형 형태학적 신경망 DenMo-Net을 제안한다. 명시적인 활성화 함수가 필요로 하지 않기 때문에, 더 적은 파라미터로 동일하거나 더 나은 성능을 달성하며, 부드러운 함수에 대해 강력한 근사 능력을 보여준다.

ABSTRACT

Artificial neural networks are built on the basic operation of linear combination and non-linear activation function. Theoretically this structure can approximate any continuous function with three layer architecture. But in practice learning the parameters of such network can be hard. Also the choice of activation function can greatly impact the performance of the network. In this paper we are proposing to replace the basic linear combination operation with non-linear operations that do away with the need of additional non-linear activation function. To this end we are proposing the use of elementary morphological operations (dilation and erosion) as the basic operation in neurons. We show that these networks (Denoted as DenMo-Net) with morphological operations can approximate any smooth function requiring less number of parameters than what is necessary for normal neural networks. The results show that our network perform favorably when compared with similar structured network.

연구 동기 및 목표

• 복잡한 파라미터 최적화 및 활성화 함수 선택에 대한 민감성으로 인해 깊은 신경망을 훈련시키는 데 어려움을 해결하기 위해.
• 기존의 활성화 함수에 의존하지 않고 형태학적 연산이 보편적인 함수 근사기로 기능할 수 있는지 탐색하기 위해.
• 선형 조합을 비선형 형태학적 연산으로 대체하여 함수 근사에 필요한 파라미터 수를 줄이기 위해.
• 부드러운 함수 근사 작업에서 표준 전방향 아키텍처와 비교하여 형태학적 네트워크의 성능을 평가하기 위해.

제안 방법

• 뉴런 내 표준 선형 조합을 구조 요소를 학습 가능한 파라미터로 사용하는 형태학적 연산(dilation 및 erosion)으로 대체하기.
• 각 뉴런이 입력 특징에 대해 형태학적 연산을 수행하는 밀도형 아키텍처를 설계하여 계층적 특징 학습을 가능하게 하기.
• 명시적인 비선형 활성화 함수 없이도 복잡한 비선형 맵핑을 모델링하기 위해 다수의 형태학적 레이어를 조합하기.
• 역전파를 통해 훈련하고, 하위미분 방법을 사용하여 형태학적 연산을 통해 기울기를 계산하기.
• 모델 복잡도를 줄이고 일반화 성능을 향상시키기 위해 밀도형 레이어에서 파라미터 공유 전략을 적용하기.
• 유한 깊이의 형태학적 네트워크를 사용하여 임의의 부드러운 함수를 근사할 수 있음을 증명함으로써 네트워크를 보편 근사기로 공식화하기.

실험 결과

연구 질문

• RQ1 형태학적 연산(dilation 및 erosion)만으로도 깊은 네트워크에서 보편적인 함수 근사기로 기능할 수 있는가?
• RQ2 함수 근사에 있어 DenMo-Net의 파라미터 효율성은 표준 전방향 신경망과 비교해 어떻게 되는가?
• RQ3 명시적인 활성화 함수를 제거함으로써 형태학적 네트워크의 훈련 안정성과 성능이 향상되는가?
• RQ4 기존 네트워크보다 더 적은 파라미터로 DenMo-Net이 부드러운 함수를 얼마나 잘 근사할 수 있는가?

주요 결과

• DenMo-Net은 추가적인 비선형 활성화 함수 없이도 형태학적 연산만으로 보편적인 함수 근사 능력을 확보한다.
• 동일한 부드러운 함수를 근사하기 위해 표준 전방향 네트워크보다 더 적은 파라미터를 필요로 하므로, 파라미터 효율성이 향상됨을 시사한다.
• 실험 결과 DenMo-Net은 유사한 아키텍처를 가진 기준 네트워크와 비교해 함수 근사 작업에서 유리한 성능을 보였다.
• 형태학적 연산의 사용은 계층적 조합을 통해 안정적인 훈련과 복잡한 맵핑의 효과적 학습을 가능하게 한다.