[논문 리뷰] Efficient Learning of Generative Models via Finite-Difference Score Matching

Tianyu Pang, Kun Xu외 4명|arXiv (Cornell University)|2020. 07. 07.

Model Reduction and Neural Networks인용 수 11

한 줄 요약

이 논문은 스코어 매칭에서 고차 미분 계산을 효율적이고 병렬 처리 가능한 함수 평가로 대체하는 유한차분(Finite-Difference, FD) 스코어 매칭 방법을 제안한다. 방향 도함수를 유한차분으로 근사한 재구성된 스코어 매칭 목표함수를 통해, 계산 비용을 최대 2.5배까지 감소시키면서도 모델 성능을 유지하고 수치적 안정성을 향상시킨다.

ABSTRACT

Several machine learning applications involve the optimization of higher-order derivatives (e.g., gradients of gradients) during training, which can be expensive in respect to memory and computation even with automatic differentiation. As a typical example in generative modeling, score matching (SM) involves the optimization of the trace of a Hessian. To improve computing efficiency, we rewrite the SM objective and its variants in terms of directional derivatives, and present a generic strategy to efficiently approximate any-order directional derivative with finite difference (FD). Our approximation only involves function evaluations, which can be executed in parallel, and no gradient computations. Thus, it reduces the total computational cost while also improving numerical stability. We provide two instantiations by reformulating variants of SM objectives into the FD forms. Empirically, we demonstrate that our methods produce results comparable to the gradient-based counterparts while being much more computationally efficient.

연구 동기 및 목표

• 스코어 매칭 방법에서 고차 미분(예: 헤시안의 추적) 최적화에 따른 높은 계산 비용을 해결하기 위해.
• 기존 스코어 매칭 변종에서 순차적 기울기 계산의 비효율성과 수치적 불안정성을 극복하기 위해.
• 백프로파게이션 없이도 임의의 차수의 방향 도함수를 근사할 수 있는 일반적이고 병렬 처리 가능한 방법을 개발하기 위해.
• 분할 함수의 비가역성 문제를 제거함으로써 비정규화된 생성 모델(에너지 기반 모델 및 노멀라이징 플로우 포함)의 효율적 훈련을 가능하게 하기 위해.
• 기울기 기반 스코어 매칭과 비교해 훈련 시간과 메모리 사용을 크게 줄이면서도 유사한 성능을 달성하기 위해.

제안 방법

• 2차 방향 도함수로 표현된 스코어 매칭 목표함수(예: SSM, DSM)를 재작성하기 위해.
• 함수 평가만을 사용하여 임의의 차수의 방향 도함수를 근사하는 유한차분(FD) 방법을 제안하기 위해.
• 고차 기울기 계산을 독립적이고 병렬 처리 가능한 함수 평가로 분해하여 계산 그래프의 깊이를 감소시키기 위해.
• 스텝 크기 ε = 0.1를 사용한 대칭 유한차분 기반 스킴을 도입하여 방향 도함수를 효율적으로 근사하기 위해.
• 약한 조건 하에서 FD 기반 목표함수가 기울기 기반 대응 목표함수와 渐近적으로 일致함을 보여주기 위해.
• 비가역 분할 함수가 목표함수에서 상쇄되는 특성을 활용해 비정규화된 모델에 FD 재구성을 적용하기 위해.

실험 결과

연구 질문

• RQ1 유한차분 근사가 스코어 매칭에서 고차 기울기 계산을 성능 손실 최소로 대체할 수 있는가?
• RQ2 제안된 FD 기반 스코어 매칭이 기울기 기반 방법보다 더 높은 계산 효율성과 수치적 안정성을 확보하는가?
• RQ3 병렬 함수 평가가 스코어 기반 생성 모델의 훈련 시간을 얼마나 줄일 수 있는가?
• RQ4 스토케스틱 최적화 하에서 FD 기반 목표함수가 원래 스코어 매칭 목표함수와 渐近적으로 일치하는가?
• RQ5 FD 재구성은 아키텍처 변경 없이도 명시적 및 암시적 생성 모델에 모두 적용 가능한가?

주요 결과

• FD 기반 슬라이스드 스코어 매칭(FD-SSM)은 여러 데이터셋과 모델에서 표준 SSM 대비 2.5배 이상의 속도 향상을 달성한다.
• FD 기반 디노이징 스코어 매칭(FD-DSM)은 베이스라인 DSM 대비 1.5배의 속도 향상을 보였으며, 유사한 로그우도 성능 유지를 유지한다.
• MNIST, CIFAR-10, SVHN, CelebA 등 다양한 데이터셋에서 로그우도 및 이상치 탐지 성능 측면에서 기울기 기반 기준선과 유사한 성능을 기록한다.
• FD 방법은 계산 그래프의 깊이를 감소시켜 수치적 안정성을 향상시키고 스트로케스틱 최적화에서 분산을 줄인다.
• 비정규화된 모델과의 호환성이 확보되어, 비가역 분할 함수가 목표함수에서 상쇄되므로 직접적으로 비정규화된 밀도 함수에 훈련이 가능하다.
• 실험 결과, 약한 정규성 조건 하에서 FD 기반 목표함수가 기울기 기반 대응 목표함수와 渐近적으로 일치함을 확인하였다.