[논문 리뷰] Implicitly Defined Layers in Neural Networks

Qianggong Zhang, Yanyang Gu외 3명|arXiv (Cornell University)|2020. 03. 03.

Medical Image Segmentation Techniques참고 문헌 38인용 수 5

한 줄 요약

이 논문은 순환 신경망에서 은닉층의 출력이 명시적 함수가 아닌 암묵적 방정식의 해를 통해 결정되는 일반적인 프레임워크를 제안한다. 암묵함수정리와 자동미분을 활용함으로써, 이전에는 다루기 어려웠던 아키텍처의 엔드 투 엔드 훈련이 가능해지며, 그래프 매칭 등 다양한 작업에서 뛰어난 수렴성과 성능을 보여준다.

ABSTRACT

In conventional formulations of multilayer feedforward neural networks, the individual layers are customarily defined by explicit functions. In this paper we demonstrate that defining individual layers in a neural network \emph{implicitly} provide much richer representations over the standard explicit one, consequently enabling a vastly broader class of end-to-end trainable architectures. We present a general framework of implicitly defined layers, where much of the theoretical analysis of such layers can be addressed through the implicit function theorem. We also show how implicitly defined layers can be seamlessly incorporated into existing machine learning libraries. In particular with respect to current automatic differentiation techniques for use in backpropagation based training. Finally, we demonstrate the versatility and relevance of our proposed approach on a number of diverse example problems with promising results.

연구 동기 및 목표

• 명시적 함수로 정의된 레이어의 한계를 극복하여, 훈련 가능한 아키텍처의 범주를 제한하는 문제를 해결한다.
• 암묵적 방정식 형태 $ F(y^{(k)}, y^{(k+1)}) = 0 $를 통해 뉴럴 네트워크 레이어를 일반화된 프레임워크로 정의함으로써 더 표현력 있는 표현을 가능하게 한다.
• 엔드 투 엔드 훈련을 위해 기존 자동미분 및 역전파 기법과 원활하게 통합될 수 있도록 보장한다.
• 그래프 매칭 및 행렬 최적화와 같은 다양한 기계학습 문제에서 암묵적 레이어의 실용성과 강건성을 입증한다.
• 암묵적 레이어가 이중-스토하스틱 할당과 같은 복잡한 제약 조건을 수반하는 문제를 수반하며, 수동으로 기울기를 유도할 필요 없이 처리할 수 있음을 보여준다.

제안 방법

• 레이어 출력 $ y^{(k+1)} $ 가 방정식 $ F(y^{(k)}, y^{(k+1)}) = 0 $ 의 해가 되도록 암묵적으로 뉴럴 네트워크 레이어를 정의한다.
• 암묵함수정리를 적용하여 입력 및 파라미터에 대한 해의 기울기를 해석적으로 유도함으로써 역전파를 가능하게 한다.
• 기호 유도 없이도 기울기를 계산할 수 있도록 자동미분을 사용하여 구현을 단순화하고, QCQP 및 KKT 조건과 같은 복잡한 시스템을 지원한다.
• SMAC 레이어와 같은 가분성 최적화 레이어를 활용하여 암묵적 레이어를 딥러닝 파이프라인에 통합한다.
• 제약 최적화 문제(예: QCQP)를 암묵적 레이어로 공식화하고, KKT 조건과 행렬 미분법을 통해 해를 구한다.
• 기존 딥러닝 라이브러리에 프레임워크를 구현하여 암묵적 방정식의 해를 가분성 레이어로 간주하고, 표준 훈련 파이프라인과 호환되도록 한다.

실험 결과

연구 질문

• RQ1 신경망 레이어가 명시적 함수가 아니라 암묵적 방정식을 통해 의미 있게 정의될 수 있으며, 만약 그렇다면 어떻게 훈련시킬 수 있는가?
• RQ2 수동 유도 없이도 암묵적 레이어를 통해 기울기를 효율적으로 계산할 수 있는가?
• RQ3 암묵적 레이어가 명시적 레이어 대비 엔드 투 엔드 훈련 가능한 신경망의 표현력과 성능을 어느 정도 향상시키는가?
• RQ4 암묵적 레이어가 이중-스토하스틱 할당이나 등식 및 부등식 제약 조건을 동시에 포함하는 최적화 문제를 처리할 수 있는가?
• RQ5 실제 작업인 그래프 매칭에서 암묵적 레이어의 통합이 수렴 속도와 강건성에 어떤 영향을 미치는가?

주요 결과

• 암묵적으로 정의된 레이어는 닫힌 형태로 표현할 수 없는 함수를 표현할 수 있기 때문에, 명시적으로 정의된 레이어보다 엄밀히 더 풍부한 신경망 아키텍처 클래스를 제공한다.
• 이 프레임워크는 QCQP 및 KKT 기반 솔버와 같은 복잡한 최적화 문제를 포함한 모델의 엔드 투 엔드 훈련을 가능하게 하며, 기호 기울기 유도가 필요하지 않다.
• CUB-200-2011 데이터셋에서 SMAC 레이어(이중-스토하스틱 할당을 위한 암묵적 레이어)는 PI 방법보다 더 빠른 수렴 속도와 높은 정확도를 달성했으며, 훈련 반복 과정에서 PCK 점수도 향상되었다.
• 암묵적 레이어에 자동미분를 사용함으로써, (45)에서 유도된 KKT 시스템과 같은 복잡한 기울기의 수동 유도가 필요 없어졌고, 이는 구현을 크게 단순화시켰다.
• SMAC 레이어는 직접적으로 이중-스토하스틱 할당 벡터를 생성하여, 제약 조건이 없는 솔버에 비해 노이즈 및 이방성에 더 강건함을 보였다.
• 행렬 분해 및 그래프 매칭을 포함한 다양한 작업에서 제안된 방법은 훈련 동역학과 해의 품질에서 일관된 향상을 보이며 실용적 이점을 입증했다.