[논문 리뷰] On Training Implicit Models

Zhengyang Geng, Xinyu Zhang외 3명|arXiv (Cornell University)|2021. 11. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 13

한 줄 요약

이 논문은 정확한 기울기의 경량 근사인 폰타임 기울기(phantom gradient)를 제안한다. 이는 비용이 많이 드는 역방향 해법을 피하면서도 성능을 유지하거나 향상시킨다. 감쇠된 반복(unrolling)과 노이만 급수를 활용하여, ImageNet에서 학습을 1.7배 빠르게 하고 정확도를 향상시킨다. 이는 일정한 메모리로 깊은 암묵적 신경망을 훈련시키는 데 안정적이고 효율적인 대안을 제공한다.

ABSTRACT

This paper focuses on training implicit models of infinite layers. Specifically, previous works employ implicit differentiation and solve the exact gradient for the backward propagation. However, is it necessary to compute such an exact but expensive gradient for training? In this work, we propose a novel gradient estimate for implicit models, named phantom gradient, that 1) forgoes the costly computation of the exact gradient; and 2) provides an update direction empirically preferable to the implicit model training. We theoretically analyze the condition under which an ascent direction of the loss landscape could be found, and provide two specific instantiations of the phantom gradient based on the damped unrolling and Neumann series. Experiments on large-scale tasks demonstrate that these lightweight phantom gradients significantly accelerate the backward passes in training implicit models by roughly 1.7 times, and even boost the performance over approaches based on the exact gradient on ImageNet.

연구 동기 및 목표

• 암묵적 모델에서 정확한 기울기 계산의 높은 계산 비용 문제를 암묵적 미분을 통해 해결하기 위해.
• 암묵적 모델 훈련에 대해 계산적으로 효율적이면서도 경험적으로 효과적인 기울기 근사 방법을 개발하기 위해.
• 근사 기울기가 손실 곡면에서 상승 방향을 보장하는 이론적 조건을 제공하기 위해.
• 암묵적 모델의 전방향 계산 및 추론 동작을 변경하지 않고 더 빠른 훈련을 가능하게 하기 위해.
• 시각, 언어, 그래프 학습을 포함한 다양한 작업에서 방법의 유효성을 검증하기 위해.

제안 방법

• 정확한 기울기를 계산하기 위해 고비용의 역방향 선형 시스템을 풀지 않고도 기울기를 근사하는 일阶 오рак루(oracle)로 폰타임 기울기를 제안한다.
• 손실 곡면에서 기울기 근사가 상승 방향을 보장하는 이론적 조건을 유도한다.
• 두 가지 구현 방식을 도입한다: 감쇠된 고정점 반복과 DEQ 모델을 위한 노이만 급수 기반 근사.
• 기존의 해법기구 및 아키텍처와의 호환성을 보장하기 위해 동일한 전방향 계산 및 추론 파이프라인을 유지한다.
• 적절한 하이퍼파ram터 선택 시 수렴을 보여주는, 폰타임 기울기를 사용한 확률적 경사 하강법(SGD)을 적용한다.
• 특히 Transformer 기반 모델에서 불규칙한 손실 곡면에서의 훈련 안정성을 향상시키기 위해 명시적 자코비안 정규화(JR)를 도입한다.

실험 결과

연구 질문

• RQ1 일阶 기울기 근사가 암묵적 모델 훈련에서 정확한 기울기 계산을 능가할 수 있는가?
• RQ2 어떤 조건에서 근사 기울기가 여전히 손실 곡면에서 유효한 상승 방향을 제공하는가?
• RQ3 정확한 기울기 방법과 비교해 폰타임 기울기의 훈련 속도와 모델 정확도는 어떻게 되는가?
• RQ4 폰타임 기울기는 Transformer 기반 모델에서와 같은 불규칙한 손실 곡면에서도 훈련을 안정화시킬 수 있는가?
• RQ5 이 방법은 시각, 언어, 그래프 학습을 포함한 다양한 작업에서 여전히 효과적인가?

주요 결과

• ImageNet에서 폰타임 기울기는 역방향 계산을 최대 12배 빠르게 하여 총 훈련 시간을 1.4–1.7배 감소시킨다.
• ImageNet에서 폰타임 기울기는 정확한 기울기 방법보다 더 높은 상위-1 정확도를 달성하여 더 우수한 일반화 성능을 보여준다.
• 정확한 기울기 해법기구가 발산하는 불량 조건 설정에서도 폰타임 기울기는 안정적인 훈련을 유지한다.
• 노이만 급수와 감쇠된 반복 방식의 폰타임 기울기는 이론적 상승 조건을 충족하며 적절한 감쇠 조건에서 수렴을 가능하게 한다.
• 명시적 자코비안 정규화는 특히 Transformer 기반 모델에서 안정성과 성능을 향상시키며, 명시적 정규화 가중치를 20배 감소시킬 수 있다.
• Wikitext-103에서 JR를 적용한 UPG 변형은 2.2배의 훈련 속도 향상으로 테스트 퍼플렉서티 24.4를 달성했고, 1.7배 향상 시에는 24.0을 달성했다.