[논문 리뷰] Local Propagation in Constraint-based Neural Network

Giuseppe Marra, Matteo Tiezzi외 4명|arXiv (Cornell University)|2020. 02. 18.

Neural Networks and Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 국소적 전파(LP)를 소개한다. LP는 가중치, 활성화값, 라그랑주 승수의 동반 공간에서의 안장점 탐색으로서 학습을 공식화하는 새로운 제약 기반 신경망 훈련 방법이다. 완전히 국소적이고 병렬화 가능한 업데이트를 수행함으로써, LP는 기울기 소실 문제를 피하고, 딱딱한 제약 조건을 가진 얕고 깊은 네트워크의 효과적인 훈련을 가능하게 하며, 역전파와의 자연스러운 연결을 유지하고, 에프실론-민감한 제약 조건과 L1 정규화를 통해 강건성을 향상시킨다.

ABSTRACT

In this paper we study a constraint-based representation of neural network architectures. We cast the learning problem in the Lagrangian framework and we investigate a simple optimization procedure that is well suited to fulfil the so-called architectural constraints, learning from the available supervisions. The computational structure of the proposed Local Propagation (LP) algorithm is based on the search for saddle points in the adjoint space composed of weights, neural outputs, and Lagrange multipliers. All the updates of the model variables are locally performed, so that LP is fully parallelizable over the neural units, circumventing the classic problem of gradient vanishing in deep networks. The implementation of popular neural models is described in the context of LP, together with those conditions that trace a natural connection with Backpropagation. We also investigate the setting in which we tolerate bounded violations of the architectural constraints, and we provide experimental evidence that LP is a feasible approach to train shallow and deep networks, opening the road to further investigations on more complex architectures, easily describable by constraints.

연구 동기 및 목표

• 아키텍처적 제약 조건을 기반으로 한 새로운 신경망 훈련 프레임워크를 개발하여, 학습을 위한 통합적이고 원칙적인 접근법을 제공한다.
• 깊은 네트워크에서의 기울기 소실 문제를 해결하기 위해, 장거리 역전파 체인을 피하는 완전히 국소적인 최적화 절차를 설계한다.
• 공유된 라그랑주 수식을 통해 제안된 방법과 역전파 사이의 자연스러운 연결 고리를 확립한다.
• 에프실론-민감한 함수와 L1 정규화를 활용한 제약 조건 위반의 유한한 허용 범위를 통해 네트워크 훈련의 가능성을 탐색한다.
• 제약 조건을 통해 자연스럽게 표현 가능한 복잡한 아키텍처에 대한 향후 탐색 가능성을 열어 둔다.

제안 방법

• 신경 방정식에서 유도된 아키텍처 제약 조건을 사용하여 신경망 학습을 제약 최적화 문제로 공식화한다.
• 제약 조건을 엄격히 이행하기 위해 증강 라그랑주 방법을 활용하며, 이는 가중치, 뉴런 출력값, 라그랑주 승수에 대한 안장점 탐색 문제로 문제를 변환한다.
• 국소적 전파(LP)는 가중치와 활성화값에 대해 기울기 하강을 수행하고, 라그랑주 승수에 대해 기울기 상승을 수행하며, 모든 업데이트를 뉴런 단위에서 완전히 국소적으로 수행한다.
• 알고리즘은 각 뉴런의 업데이트가 오직 그 이웃 뉴런들과 국소적 승수에만 의존하므로, 전역 기울기 의존성 없이 본질적으로 병렬화 가능하다.
• 제약 조건 위반의 유한한 허용 범위를 허용하기 위해 에프실론-민감한 제약 조건을 도입하고, 뉴런 활성화 경로의 희소성을 촉진하기 위해 L1 정규화를 통합한다.
• 다양한 벤치마크에서 방법을 검증하여, LP가 표준 역전파 성능을 따라하거나 능가함을 보였으며, 특히 정규화와 내성 설정이 적용된 경우에 뚜렷한 우월성을 보였다.

실험 결과

연구 질문

• RQ1 완전히 국소적 업데이트를 통해 기울기 소실 문제를 피할 수 있는 제약 기반 신경망 훈련 방법을 설계할 수 있는가?
• RQ2 제안된 국소적 전파(LP) 방법은 성능 및 최적화 역학 측면에서 표준 역전파와 어떻게 관련되어 있으며, 비교할 수 있는가?
• RQ3 에프실론-민감한 함수를 통해 제약 조건 위반을 유한하게 허용할 경우 일반화 성능와 훈련 안정성에 어떤 영향을 미치는가?
• RQ4 L1 정규화가 LP 훈련 네트워크의 성능와 희소성에 얼마나 기여하는가?
• RQ5 LP는 얕고 깊은 아키텍처 모두에 효과적으로 적용될 수 있으며, 아키텍처 탐색에서 새로운 가능성을 열어줄 수 있는가?

주요 결과

• LP는 여러 UCI 및 MNIST 벤치마크에서 경쟁적인 성능을 달성했으며, 평균 테스트 정확도가 표준 역전파와 1~2%p 이내였고, 정규화 조건이 적용된 경우 종종 그를 능가했다.
• 와인 데이터셋에서, 에프실론 > 0 이며 L1 정규화를 적용한 LP는 98.86% ± 1.97의 정확도를 기록했으며, 표준 역전파 결과와 동일하거나 이를 초월했다.
• 피부질환(Dermatology) 데이터셋에서, L1 정규화를 적용한 LP는 98.63% ± 0.48의 정확도를 달성했으며, 정규화되지 않은 변형보다 뚜렷이 뛰어난 성능을 보였다.
• 에프실론-민감한 제약 조건의 사용은 얕은 네트워크에서 성능 향상을 이끌었으며(예: 오존 데이터셋에서 97.12% ± 0.13), 엄격한 이행 조건(96.96% ± 0.30)보다 우수했지만, 깊은 네트워크에서는 내성 설정에 더 민감했다.
• L1 정규화는 다양한 데이터셋에서 일관되게 성능 향상을 이끌었으며, 일반화 성능 향상과 모델 해석 가능성 향상에 기여하는 희소성 유도 효과가 있음을 시사했다.
• 국소적 업데이트 구조 덕분에 이 방법은 강력한 병렬화 가능성을 보였으며, 역전파 체인 없이 뉴런 단위 간 효율적인 계산을 가능하게 했다.