[논문 리뷰] Improving Optimization for Models With Continuous Symmetry Breaking

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|2018. 03. 08.

Topic Modeling참고 문헌 30인용 수 4

한 줄 요약

이 논문은 연속 대칭 붕괴를 보이는 모델에서 수렴 속도를 향상시키기 위해 대칭 방향과 나머지 좌표에서의 최적화를 분리하는 최적화 알고리즘인 골드스톤 경사하강법(Goldstone-GD)을 제안한다. 주 손실이 열악해지지 않는 한, 작은 대칭 붕괴 항을 효율적으로 최소화함으로써 Goldstone-GD는 동적 행렬 분해와 동적 단어 임베딩에서 수십 배에서 수백 배 빠른 수렴을 달성하고 더 해석 가능하고 시간에 일관된 표현을 생성한다.

ABSTRACT

Many loss functions in representation learning are invariant under a continuous symmetry transformation. For example, the loss function of word embeddings (Mikolov et al., 2013) remains unchanged if we simultaneously rotate all word and context embedding vectors. We show that representation learning models for time series possess an approximate continuous symmetry that leads to slow convergence of gradient descent. We propose a new optimization algorithm that speeds up convergence using ideas from gauge theory in physics. Our algorithm leads to orders of magnitude faster convergence and to more interpretable representations, as we show for dynamic extensions of matrix factorization and word embedding models. We further present an example application of our proposed algorithm that translates modern words into their historic equivalents.

연구 동기 및 목표

• 연속 대칭을 가진 표현 학습 모델에서의 느린 수렴을 특정하고 해결하는 것, 특히 약한 또는 자발적 대칭 붕괴를 보이는 모델을 대상으로 한다.
• 대칭 방향에서의 작은 곡률(골드스톤 모드)으로 인해 발생하는 헤시안의 불량 조건성으로 인해 표준 경사하강법이 성능을 내기 어려운 문제를 해결하는 것.
• 대칭 부분공간의 동역학과 나머지 매개변수 공간의 동역학을 분리하여 수렴 속도를 향상시키는 최적화 알고리즘을 개발하는 것.
• 동적 모델, 예를 들어 동적 단어 임베딩에서 시간에 따라 학습된 표현 간의 의미 있는 비교를 가능하게 하는 것.
• 현대어를 19세기어로 번역하는 등의 실용적 응용을 통해 방법의 실용성을 입증하는 것.

제안 방법

• 이 방법은 대칭 변환의 야코비안을 통해 대칭 부분공간을 식별하고, 기저가 직교하는 보완 공간에 기울기를 투영하여 대칭 방향과 비대칭 방향을 분리한다.
• 정기적으로 Goldstone-GD는 대칭 부분공간 내에서 대칭 붕괴 항을 국소적으로 최소화하기 위해 준뉴턴 방법을 사용하며, 주 손실 함수의 값을 유지한다.
• 알고리즘은 대칭 붕괴 항을 효율적으로 최소화할 수 있도록 매개변수화를 적용하여 전체 헤시안 계산이 필요 없도록 한다.
• 재매개변수화 기법을 적용하여 최적화 경로가 일치하는 해의 다양체와 일치시켜 골드스톤 모드 방향의 진동을 줄인다.
• Adam과 같은 표준 최적화기와 통합되며, 주기적인 대칭 부분공간 업데이트로 인해 실험에서 약 8%의 소량의 계산 오버헤드만 발생한다.
• 물리학의 게이지 이론에 기반하여 대칭 붕괴 항을 게이지 장으로 간주하고 골드스톤 모드 방향으로 기여도를 최소화한다.

실험 결과

연구 질문

• RQ1 연속 대칭과 그 붕괴는 순차적 표현 모델에서 경사하강법의 수렴 행동에 어떻게 영향을 미치는가?
• RQ2 왜 표준 최적화 방법은 동적 행렬 분해나 동적 단어 임베딩처럼 자발적 대칭 붕괴를 보이는 모델에서 효율적으로 수렴하지 못하는가?
• RQ3 골드스톤 모드의 영향을 명시적으로 타겟으로 삼고 제거함으로써 수렴 속도를 가속화할 수 있는 최적화 알고리즘을 설계할 수 있는가?
• RQ4 골드스톤 모드를 제거함으로써 시간적 모델에서 학습된 표현의 해석 가능성과 시간 일관성이 어느 정도 향상되는가?
• RQ5 제안된 방법은 현대어를 역사어로 번역하는 등의 실용적 응용을 가능하게 할 수 있는가?

주요 결과

• Goldstone-GD는 동적 행렬 분해와 동적 단어 임베딩에서 표준 경사하강법과 대각 조정을 적용한 경우보다 최소한 한 계단 이상 수렴 속도가 빠르다.
• 동적 단어 임베딩에서 Goldstone-GD는 'car'에 대해 'wagon'과 같은 타당한 역사어로의 번역을 성공적으로 수행하지만, 표준 GD는 그러한 해석 가능한 결과를 도출하지 못한다.
• 첫 번째 및 마지막 시간 단계에서의 단어 임베딩 간 코사인 유사도는 Goldstone-GD 하에서 크게 향상된다: 80%의 경우에서 60% 이상의 겹침이 발생하며, 기준선 대비 60% 미만 또는 음수의 겹침이 발생한다.
• 테스트 세트에서의 예측 로그우도는 Goldstone-GD에서 약간 향상되었다(포인트당 −0.5317 대비 −0.5323), 이는 정규화항의 영향이 미미하더라도 일반화 능력 향상을 시사한다.
• 알고리즘은 임베딩 공간 내 임의의 회전 영향을 줄여 시간에 걸쳐 의미가 유지됨을 보장한다. 이는 시간 모델링에 있어 핵심적이다.
• 주기적인 대칭 부분공간 최소화로 인해 런타임 오버헤드가 약 8%에 불과하여 대규모 모델에 실용적으로 적용 가능하다.