[논문 리뷰] Bridging Discrete and Backpropagation: Straight-Through and Beyond

Liyuan Liu, Chengyu Dong외 3명|arXiv (Cornell University)|2023. 04. 17.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 이중 차수 정확도를 달성하기 위해 히운의 방법을 통합함으로써 비용이 많이 드는 헤시안 행렬 계산을 피하는, 이산 잠재 변수를 위한 새로운 기울기 추정 방법 ReinMax를 제안한다. 이는 직선 통과(ST) 방법을 첫 번째 차수 기울기 근사로 공식적으로 정립하고, 계산 비용이 거의 들지 않는 것으로서 최신 기법들보다 뛰어난 성능을 다양한 작업에서 입증한다.

ABSTRACT

Backpropagation, the cornerstone of deep learning, is limited to computing gradients for continuous variables. This limitation poses challenges for problems involving discrete latent variables. To address this issue, we propose a novel approach to approximate the gradient of parameters involved in generating discrete latent variables. First, we examine the widely used Straight-Through (ST) heuristic and demonstrate that it works as a first-order approximation of the gradient. Guided by our findings, we propose ReinMax, which achieves second-order accuracy by integrating Heun's method, a second-order numerical method for solving ODEs. ReinMax does not require Hessian or other second-order derivatives, thus having negligible computation overheads. Extensive experimental results on various tasks demonstrate the superiority of ReinMax over the state of the art. Implementations are released at https://github.com/microsoft/ReinMax.

연구 동기 및 목표

• 이산 잠재 변수의 맥락에서 직선 통과(ST) 히우리즘을 기울기 근사 방법으로 공식적으로 분석하는 것.
• 현재 시행착오적 튜닝이 필요로 하는 ST 및 그 변종에 대한 이론적 기반과 하이퍼파rameter 가이던스의 부족을 해결하는 것.
• 헤시안 또는 이阶 도함수를 요구하지 않고도 고차수 정확도를 달성하는 새로운 기울기 추정 방법을 개발하는 것.
• 다양한 작업, 예를 들어 다항식 프로그래밍, 변동형 오토인코더, 구조적 예측에서 일관된 성능 향상을 입증하는 것.
• 딥 러닝에서 이산 또는 비가환 성분을 위한 기울기 추정기 설계에 대한 향후 지침을 제공하는 이론적 통찰을 제공하는 것.

제안 방법

• ReinMax는 기울기 추정 과정을 상미분방정식(ODE)으로 모델링하고, 이계수 수치적 적분 기법인 히운의 방법을 적용함으로써 유도된다.
• 이 방법은 두 단계 예측을 사용한다: 먼저 현재 파라미터 값으로 예측 기울기를 계산하고, 그 다음 예측된 중간 상태를 사용하여 이를 보정한다.
• 이 방법은 명시적 헤시안 행렬 계산을 피함으로써 계산 효율성을 유지하며, 단지 일阶 기울기와 모델 출력에 의존한다.
• 기울기 보정 단계는 예측된 기울기와 실제 기울기의 차이를 사용하는, 가환성 있는 샘플링 메커니즘과 통합된다.
• 기대 손실 $\mathbb{E}[f(\mathbf{D})]$를 사용한 베이스라인 빼기 전략을 통해 분산을 줄여 안정성을 향상시킨다.
• 이 방법은 one-hot 샘플링과 가환성 있는 소프트 근사의 조합을 통해 수정된 순방향 전파 방식으로 구현되어, 이산 변수를 통해 끝에서 끝까지 backpropagation을 가능하게 한다.

실험 결과

연구 질문

• RQ1 직선 통과(ST) 히우리즘이 공식 기울기 근사 방법과 어떻게 관련이 있는가?
• RQ2 헤시안 행렬이나 이阶 도함수를 요구하지 않고도 이계수 정확도를 갖는 기울기 추정기를 구성할 수 있는가?
• RQ3 ST 및 그 변종에 최적의 하이퍼파ram터 설정(예: 온도)은 무엇이며, 이 선택을 이론이 어떻게 안내할 수 있는가?
• RQ4 RODEO와 같은 최신 기법들과 비교해, ReinMax와 같은 고차수 기울기 추정기가 이산 변수를 포함한 다양한 학습 작업에서 일관되게 더 뛰어난 성능을 내는가?
• RQ5 기울기 추정에서의 베이스라인 선택은 이산 잠재 변수 모델의 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• ReinMax는 히운의 방법을 통합함으로써 기울기 근사에서 이계수 정확도를 달성하여, 진짜 기울기의 타일러 전개를 두 번째 차수까지 일치시킨다.
• 직선 통과(ST) 방법이 공식적으로 전진 오일러 방법, 즉 첫 번째 차수 수치적 ODE 해법과 동일시됨을 입증하여, 그 사용에 대한 이론적 근거를 제공한다.
• ReinMax는 MNIST, 패션-MNIST, 옴니글롯, 다항식 프로그래밍 작업을 포함한 여러 벤치마크에서 REINFORCE 기반 기법들과 RODEO와 같은 최신 기법들을 포함한 모든 베이스라인보다 뛰어난 성능을 보였다.
• 2^48차원의 잠재 공간을 가진 MNIST-VAE에서, ReinMax는 모든 온도 설정에서 RODEO 및 기타 베이스라인보다 높은 ELBO 점수를 일관되게 달성했다.
• ReinMax는 작은 배치 크기, 더 많은 잠재 변수, 더 복잡한 목표 함수와 같은 도전적인 설정에서도 뛰어난 성능을 보였으며, 이는 REINFORCE 스타일 기법이 높은 분산으로 인해 어려움을 겪는 영역에서 특히 그렇다.
• ReinMax는 계산 오버헤드가 거의 없으며, 시간과 메모리 소비가 ST 및 기타 첫 번째 차수 기법들과 유사하다. 반면, 몬테카를로 샘플 수에 따라 비례적으로 증가하는 분산 감소 기법인 GR-MCK와는 달리, 이는 확장성에 떨어진다.