[논문 리뷰] Stochastic Optimization for Deep CCA via Nonlinear Orthogonal Iterations

Weiran Wang, Raman Arora외 2명|arXiv (Cornell University)|2015. 10. 07.

Face and Expression Recognition참고 문헌 39인용 수 16

한 줄 요약

이 논문은 비선형 직교 반복법(Nonlinear Orthogonal Iterations, NOI)을 제안한다. 이는 CCA를 직교 반복법로 재구성하고 적응형 공분산 추정을 사용함으로써, 작은 미니배치에서도 효과적인 훈련이 가능한 딥 캐널 상관 분석(Deep Canonical Correlation Analysis, DCCA)을 위한 확률적 최적화 방법이다. 이 방법은 메모리 사용을 크게 줄이며 배치 또는 큰 미니배치 최적화기와 비슷한 성능을 달성하여 대규모 딥 러닝 모델에 실용적으로 적용할 수 있다.

ABSTRACT

Deep CCA is a recently proposed deep neural network extension to the traditional canonical correlation analysis (CCA), and has been successful for multi-view representation learning in several domains. However, stochastic optimization of the deep CCA objective is not straightforward, because it does not decouple over training examples. Previous optimizers for deep CCA are either batch-based algorithms or stochastic optimization using large minibatches, which can have high memory consumption. In this paper, we tackle the problem of stochastic optimization for deep CCA with small minibatches, based on an iterative solution to the CCA objective, and show that we can achieve as good performance as previous optimizers and thus alleviate the memory requirement.

연구 동기 및 목표

• 기존에 비선형 분리가 어려운 목표 함수로 인해 전통적으로 큰 미니배치 또는 배치 기반 방법을 요구하는 딥 CCA에서의 확률적 최적화 문제를 해결하기 위해.
• 대규모 데이터셋과 GPU 배포에 적합한, 작은 미니배치를 사용하는 효율적이고 메모리 효율적인 DCCA 모델 훈련을 가능하게 하기 위해.
• 배치 기반 또는 큰 미니배치 최적화기의 높은 메모리 소비를 피하면서도 높은 성능을 유지하는 방법을 개발하기 위해.
• 확률적 환경에서 적응형 공분산 추정을 활용하여 일반화 성능과 수렴성을 향상시키기 위해.

제안 방법

• 훈련 예제 간 최적화를 분리하기 위해 직교 반복법를 사용해 CCA 목표 함수를 재구성한다.
• 비선형 최소 제곱 회귀 목표 함수를 사용해 DNN 훈련을 직교 반복 프레임워크 내에 통합하며, 이는 예제 간 자연스럽게 분리된다.
• 메모리 파라미터 ρ를 사용해 공분산 행렬의 추정치를 적응적으로 추정함으로써, 작은 미니배치에서 화이트닝의 안정성을 높인다.
• 각 단계에서 현재의 미니배치에만 화이트닝을 수행하며, 공분산 추정치에 대한 재귀적 업데이트 규칙을 사용해 노이즈를 줄이고 안정성을 향상시킨다.
• DNN 파라미터 업데이트를 반복적 CCA 해법에 통합하여 엔드 투 엔드 확률적 최적화를 가능하게 한다.
• 메모리 파라미터 ρ를 통해 모멘텀 유사 메커니즘을 구현해 반복 간 공분산 추정치를 부드럽게 하여 작은 배치에서의 수렴성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비선형 분리가 어려운 CCA 목표 함수의 특성에도 불구하고, 작은 미니배치에서 효과적인 딥 CCA를 위한 확률적 최적화가 가능할 수 있는가?
• RQ2 작은 배치의 확률적 환경에서 CCA의 화이트닝 제약을 안정적으로 근사할 수 있는가?
• RQ3 메모리(ρ)를 활용한 적응형 공분산 추정은 훈련 안정성과 성능 향상에 어떤 역할을 하는가?
• RQ4 제안된 방법은 메모리 소비를 줄이며 배치 또는 큰 미니배치 최적화기와 비슷한 성능를 달성할 수 있는가?

주요 결과

• NOI는 미니배치 크기 n=1일 때조차도 이전의 배치 및 큰 미니배치 최적화기와 비슷한 캐널 상관 성능을 달성한다.
• 작은 미니배치(n=1)에서, 노이즈가 많은 공분산 추정치로 인해 성과를 내지 못하는 기존의 확률적 접근보다 상당히 뛰어난 성능을 보인다.
• ρ=0.9999인 적응형 공분산 추정치는 MNIST 선형 CCA에서 폐쇄형 SVD 해법에 매우 가까운 near-optimal 성능을 달성한다.
• 최적의 ρ 값은 미니배치 크기에 따라 달라지며, 더 작은 n에서 더 높은 ρ 값이 공분산 추정의 노이즈를 줄이는 데 더 효과적이다.
• 최소한의 메모리에서도 강건성과 수렴성을 보이며, 기존의 STOL보다도 작은 미니배치에서 더 뛰어난 성능을 보였다. 이는 기울기 노이즈가 감소했기 때문이다.