[논문 리뷰] BDA-PCH: Block-Diagonal Approximation of Positive-Curvature Hessian for Training Neural Networks.

Shengwei Chen, Chun‐Nan Chou외 1명|arXiv (Cornell University)|2018. 02. 19.

3D Shape Modeling and Analysis참고 문헌 1인용 수 5

한 줄 요약

이 논문은 두 번 미분 가능한 활성화 함수와 손실 함수를 갖는 완전 연결 신경망을 훈련시키기 위한, 양의 곡률 헤시안에 대한 메모리 효율적인 블록 대각 근사인 BDA-PCH를 제안한다. 미니배치 환경에서 공액 그래디언트 방법을 활용함으로써, BDA-PCH는 비볼록 목표 함수에서 경쟁하는 이阶 방법보다 더 빠른 수렴을 가능하게 한다.

ABSTRACT

We propose a block-diagonal approximation of the positive-curvature Hessian (BDA-PCH) matrix to measure curvature. Our proposed BDAPCH matrix is memory efficient and can be applied to any fully-connected neural networks where the activation and criterion functions are twice differentiable. Particularly, our BDA-PCH matrix can handle non-convex criterion functions. We devise an efficient scheme utilizing the conjugate gradient method to derive Newton directions for mini-batch setting. Empirical studies show that our method outperforms the competing second-order methods in convergence speed.

연구 동기 및 목표

• 신경망 훈련에서 이阶 최적화를 위한 메모리 효율적인 곡률 근사 방법을 개발하는 것.
• 딥러닝에서 흔히 볼 수 있는 비볼록 손실 함수로의 이阶 최적화를 확장하는 것.
• 미니배치 환경에서 곡률 근사를 사용하여 뉴턴 방향을 효율적으로 계산할 수 있도록 하는 것.
• 낮은 메모리 사용을 유지하면서도 기존의 이阶 방법보다 수렴 속도를 향상시키는 것.

제안 방법

• 메모리 및 계산 비용을 줄이기 위해 양의 곡률 헤시안에 대한 블록 대각 근사(BDA-PCH)를 제안한다.
• BDA-PCH 행렬을 미니배치 훈련 환경에서 효율적으로 뉴턴 방향을 계산하기 위해 공액 그래디언트 방법을 적용한다.
• 활성화 함수와 손실 함수가 두 번 미분 가능한 임의의 완전 연결 신경망과 호환되도록 방법을 설계한다.
• 비볼록 최적화에서 안정성과 수렴성을 향상시키기 위해 헤시안의 양의 곡률 부분공간에 집중한다.
• 곡률 정보를 근사하면서도 계산 가능성을 유지하기 위해 블록 대각 구조를 사용한다.

실험 결과

연구 질문

• RQ1 양의 곡률 헤시안에 대한 블록 대각 근사는 신경망 훈련에서 수렴 속도를 향상시킬 수 있는가?
• RQ2 BDA-PCH는 기존의 이阶 방법과 비교해 수렴성과 메모리 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 제안된 방법은 미니배치 훈련에서 비볼록 손실 함수를 효과적으로 처리할 수 있는가?
• RQ4 공액 그래디언트 방법은 BDA-PCH와 함께 뉴턴 방향 계산의 효율성을 어느 정도 향상시키는가?

주요 결과

• BDA-PCH 방법은 실증 평가에서 경쟁하는 이阶 최적화 방법보다 더 빠른 수렴을 달성한다.
• 블록 대각 근사는 메모리 사용을 크게 줄이면서도 효과적인 곡률 정보를 유지한다.
• 이 방법은 활성화 함수와 손실 함수가 두 번 미분 가능한 임의의 완전 연결 신경망에 적용 가능하다.
• 공액 그래디언트 기반의 방법은 미니배치 환경에서 뉴턴 방향 계산을 효율적으로 가능하게 한다.