[논문 리뷰] Advances in the training, pruning and enforcement of shape constraints of Morphological Neural Networks using Tropical Algebra

Nikolaos Dimitriadis, Petros Maragos|arXiv (Cornell University)|2020. 11. 15.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 훈련, 프루닝, 형태 제약 강제화를 향상시키기 위해 타원 대수를 활용하여 형태 신경망(MNNs)을 발전시킨다. 다중 클래스 작업을 위한 DC-프로그래밍 기반 훈련 방법을 제안하고, 선형 네트워크와 비교해 더 뛰어난 희박성과 압축 성능을 입증하며, 마스лов 탈양자화를 통한 부드러운 연산자 근사화를 제안하여 단조성 강제화와 훈련 수렴성을 향상시킨다.

ABSTRACT

In this paper we study an emerging class of neural networks based on the morphological operators of dilation and erosion. We explore these networks mathematically from a tropical geometry perspective as well as mathematical morphology. Our contributions are threefold. First, we examine the training of morphological networks via Difference-of-Convex programming methods and extend a binary morphological classifier to multiclass tasks. Second, we focus on the sparsity of dense morphological networks trained via gradient descent algorithms and compare their performance to their linear counterparts under heavy pruning, showing that the morphological networks cope far better and are characterized with superior compression capabilities. Our approach incorporates the effect of the training optimizer used and offers quantitative and qualitative explanations. Finally, we study how the architectural structure of a morphological network can affect shape constraints, focusing on monotonicity. Via Maslov Dequantization, we obtain a softened version of a known architecture and show how this approach can improve training convergence and performance.

연구 동기 및 목표

• 이원형 형태 분류를 one-versus-one 접근법과 DC 프로그래밍을 활용해 다중 클래스 문제로 확장한다.
• 밀도 있는 형태 신경망의 희박성과 압축 가능성에 대해 프루닝 하중 조건에서 선형 네트워크와 비교하여 조사한다.
• 부드러운 연산자 근사화를 통해 형태 신경망의 단조성 강제화를 개선하고, 훈련 안정성과 성능을 향상시킨다.
• 수학적 형태학, 타원 기하학, 신경망 최적화를 통합하는 체계적인 프레임워크를 제공한다.
• 차분-볼록 프로그래밍을 통한 비확률적 훈련 대안을 제공하여 기울기 기반 방법에 대한 강력한 대체 수단을 마련한다.

제안 방법

• MNN 훈련을 차분-볼록(DC) 최적화 문제로 재구성하여, 확률적 최적화 없이도 분석적이고 안정적인 훈련이 가능하도록 한다.
• 볼록-오목 절차(CCP)를 적용하여 다중 클래스 형태 신경망을 훈련하며, 이진 팽창-침식 퍼셉트론을 일반 분류 작업으로 확장한다.
• 구조적 프루닝을 적용하여 파rameter 효율성을 평가하고, 중량 제거가 심한 조건에서 형태 및 선형 네트워크 간 성능을 비교한다.
• 마스볼 탈양자화를 활용해 딱딱한 형태 연산자(최대/최소)를 부드럽게 다루며, 불연속적 기울기를 부드러운 근사치로 대체한다.
• 최대/최소 연산자의 부드러움을 제어하는 디지털 파라미터 β를 도입하여, 개선된 수렴성을 확보한 미분 가능한 훈련을 가능하게 한다.
• 적응 최적화(Adam)와 글로로트 균일 초기화를 사용하여 노이즈가 있는 회귀 작업에서 형태 제약 조건을 갖는 네트워크를 훈련한다.

실험 결과

연구 질문

• RQ1 비확률적이고 DC-프로그래밍 기반 최적화를 활용해 다중 클래스 분류를 위한 형태 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 심한 프루닝 조건에서 형태 신경망은 선형 네트워크와 비교해 희박성과 압축 효율성 측면에서 어떻게 다른가?
• RQ3 최대/최소 연산자의 부드러운 근사치가 단조성 형태 신경망의 훈련 수렴성과 성능 향상에 기여하는가?
• RQ4 구조적 설계와 부드러운 연산자를 통한 단조성 강제화가 일반화 능력과 강인성에 얼마나 기여하는가?
• RQ5 최적화 방법과 초기화 전략의 선택이 형태 제약 조건이 있는 형태 신경망의 성능과 수렴성에 어떤 영향을 미치는가?

주요 결과

• β=5인 부드러운 형태 신경망은 모든 노이즈 수준에서 가장 낮은 RMS 오차(σ=0.05일 때 0.00294)를 기록하여 등급 회귀 및 실의 네트워크를 모두 압도했다.
• 부드러운 단조성 네트워크에서는 실의 방법에서 필요로 하는 임의의 이득 파라미터 G가 필요 없어져 훈련 과정이 단순화되었다.
• 형태 신경망은 선형 네트워크보다 심한 프루닝 조건에서도 유의미하게 높은 정확도를 유지하여 뛰어난 압축 능력을 입증했다.
• DC-프로그래밍 기반 훈련 방법은 복잡한 모델과 유사한 성능을 보이며, 다중 클래스 형태 신경망에 대해 강력하고 비확률적인 최적화를 가능하게 했다.
• 마스볼 탈양자화로 기울기 희박성이 감소하고, 모든 초평면에서 연속적이고 미분 가능한 갱신이 가능해져 수렴성이 향상되었다.
• 부드러운 연산자 접근법은 더 균형 잡힌 가중치 갱신을 이끌어내어 일부 초평면이 학습을 지배하는 것을 방지하고 일반화 능력을 향상시켰다.