[논문 리뷰] Fiedler Regularization: Learning Neural Networks with Graph Sparsity

Edric Tam, David B. Dunson|arXiv (Cornell University)|2020. 03. 02.

Advanced Graph Neural Networks참고 문헌 26인용 수 7

한 줄 요약

이 논문은 신경망의 그래프 구조에서의 페일러 값(algebraic connectivity, Fiedler 값)을 활용하여 희소성과 공적응 방지를 유도하는 새로운 스펙트럴 그래프 기반 정규화 기법인 Fiedler 정규화를 제안한다. 그래프 라플라시안의 두 번째로 작은 고유값을 통해 높은 연결성을 방지함으로써, L1 및 드롭아웃과 같은 기존 정규화 기법보다 더 우수한 일반화 성능을 달성하며, 이는 이론적 보장과 효율적인 변분 계산을 통해 가능하다.

ABSTRACT

We introduce a novel regularization approach for deep learning that incorporates and respects the underlying graphical structure of the neural network. Existing regularization methods often focus on dropping/penalizing weights in a global manner that ignores the connectivity structure of the neural network. We propose to use the Fiedler value of the neural network's underlying graph as a tool for regularization. We provide theoretical support for this approach via spectral graph theory. We list several useful properties of the Fiedler value that makes it suitable in regularization. We provide an approximate, variational approach for fast computation in practical training of neural networks. We provide bounds on such approximations. We provide an alternative but equivalent formulation of this framework in the form of a structurally weighted L1 penalty, thus linking our approach to sparsity induction. We performed experiments on datasets that compare Fiedler regularization with traditional regularization methods such as dropout and weight decay. Results demonstrate the efficacy of Fiedler regularization.

연구 동기 및 목표

• 기존 정규화 기법이 신경망 가중치를 균일하게 다루며 그 배경에 있는 그래프적 구조를 忽시하는 한계를 해결하기 위해.
• 신경망 아키텍처의 연결성과 위상적 특성을 명시적으로 고려하는 정규화 접근법을 개발하여 공적응과 과적합을 줄이기 위해.
• 스펙트럴 그래프 이론을 활용하여 깊은 신경망에 구조적 희소성을 유도할 수 있는 이론적으로 타당하고 계산적으로 실현 가능한 방법을 제공하기 위해.
• Fiedler 정규화와 구조적으로 가중된 L1 페널티 공식화를 통해 희소성 유도와의 연결을 수립하기 위해.
• 이미지 분류 벤치마크에서 드롭아웃 및 가중치 감쇠와 같은 표준 베이스라인과의 실증적 검증을 수행하기 위해.

제안 방법

• 절대값을 간선 가중치로 사용하여 신경망을 무방향, 가중치가 있는 단순 그래프로 수식화한다.
• 그래프 라플라시안 행렬 $\mathbf{L} = \mathbf{D} - |\mathbf{W}|$ 를 정의하고, 그 두 번째로 작은 고유값 $\lambda_2$ (Fiedler 값) 를 정규화 페널티로 사용한다.
• Fiedler 값이 가중치 크기의 볼록 함수임을 증명하여 최적화에 유리한 성질을 확보한다.
• Fiedler 값의 가중치에 대한 닫힌 형태의 기울기를 유도하여 엔드 투 엔드 백프로파게이션을 가능하게 한다.
• 학습 중 계산을 가속화하기 위해 라플라시안의 이차 형식과 테스트 벡터를 사용한 변분 근사를 제안한다.
• 페널티를 구조적으로 가중된 L1 노름으로 재구성하여, 라플라시안의 두 번째 고유벡터에서 유도된 가중치를 사용함으로써 희소성 유도 기법과 연결한다.

실험 결과

연구 질문

• RQ1 신경망의 그래프 구조에서의 Fiedler 값이 공적응을 줄이기 위한 효과적이고 구조 인식 가능한 정규화 페널티로 기능할 수 있는가?
• RQ2 L1, L2, 드롭아웃과 같은 표준 기법과 비교할 때 Fiedler 정규화는 일반화 성능과 학습 동역학에서 어떤가?
• RQ3 계산 복잡도가 높음에도 불구하고 Fiedler 값은 딥러닝 학습 중에 효율적으로 계산되고 최적화될 수 있는가?
• RQ4 Fiedler 정규화는 균일한 L1 또는 드롭아웃과 비교해 더 희소하고 더 견고한 신경망 아키텍처를 제공하는가?
• RQ5 Fiedler 정규화 프레임워크는 ResNet이나 완전 연결층을 포함한 컨볼루션 네트워크와 같은 더 복잡한 아키텍처로 확장될 수 있는가?

주요 결과

• Fiedler 정규화는 L1 및 드롭아웃과 비교해 MNIST 및 CIFAR10에서 테스트 성능을 크게 향상시키며, 후자의 경우 균일한 페널티로 인해 성능이 열악하다.
• Fiedler 정규화 하에서 Fiedler 값은 학습 도중 점진적으로 감소하며 네트워크 연결성의 통제된 감소를 나타내며, L1은 급격한 단절과 불안정성을 유도한다.
• 스펙트럴 계산으로 인한 약간의 오버헤드 외에는 표준 정규화 기법과 유사한 학습 속도를 달성한다.
• Fiedler 페널티의 변분 근사는 강력한 성능을 유지하면서도 상당한 속도 향상을 이끌어내어 대규모 네트워크에 실용적으로 적용 가능하다.
• Fiedler 정규화 프레임워크는 이론적으로 타당하며, ResNet과 같은 스킵 연결을 포함한 다양한 아키텍처로 일반화 가능하다.
• 구조적으로 가중된 L1 공식화는 희소성 유도와 직접적인 연결을 제공하며, 균일한 L1 페널티에 대한 원칙적인 대안을 제시한다.