[論文レビュー] Improving Optimization for Models With Continuous Symmetry Breaking

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|Mar 8, 2018

Topic Modeling参考文献 30被引用数 4

ひとこと要約

本稿では、連続的対称性の破れを示すモデルにおける収束速度の向上を図るため、対称性方向の最適化と残りの座標からの分離を実現する最適化アルゴリズム「ゴールドストーン勾配降下法（Goldstone-GD）」を提案する。微小な対称性破れ項を主損失の劣化を伴わずに効率的に最小化することで、動的行列分解や動的単語埋め込みにおいて、収束が数個のオーダー速くなり、解釈可能で時間的に一貫性のある表現が得られる。

ABSTRACT

Many loss functions in representation learning are invariant under a continuous symmetry transformation. For example, the loss function of word embeddings (Mikolov et al., 2013) remains unchanged if we simultaneously rotate all word and context embedding vectors. We show that representation learning models for time series possess an approximate continuous symmetry that leads to slow convergence of gradient descent. We propose a new optimization algorithm that speeds up convergence using ideas from gauge theory in physics. Our algorithm leads to orders of magnitude faster convergence and to more interpretable representations, as we show for dynamic extensions of matrix factorization and word embedding models. We further present an example application of our proposed algorithm that translates modern words into their historic equivalents.

研究の動機と目的

• 連続的対称性を有する表現学習モデルにおける収束の遅さを特定・解決すること、特に弱い対称性破れや自発的対称性破れを示すモデルを対象とする。
• 対称性方向に小さな曲率を示す（ゴールドストーンモードによる）ヘッセ行列の悪条件化が、標準的勾配降下法の収束を妨げる理由を解明すること。
• 対称性部分空間の動的挙動をパラメータ空間の残りの部分から分離することで、収束速度を向上させる最適化アルゴリズムの開発。
• 動的単語埋め込みのような逐次モデルにおいて、時間経過に伴う学習済み表現の意味的な比較を可能にすること。
• 翻訳という実用的応用を通じて、本手法の実用的有効性を実証すること、例として現代語を19世紀の語に変換すること。

提案手法

• 本手法は、対称性変換のヤコビ行列を用いて対称性部分空間を特定し、勾配を直交補空間に射影することで、対称性方向と非対称性方向の分離を実現するゴールドストーン-GDを導入する。
• 定期的な間隔で、準ニュートン法を用いて対称性破れ項を対称性部分空間内で局所的最小化し、主損失関数の値を保持する。
• アルゴリズムは、ヘッセ行列の完全計算を回避するため、対称性破れ項が効率的に最小化されるパラメータ化を採用している。
• 最適化軌道を degenerate 解の多様体に一致させる再パラメータ化トリックを適用し、ゴールドストーンモードに沿う振動を低減する。
• Adamなどの標準的最適化手法と統合可能であり、周期的な対称性部分空間更新に起因する計算オーバーヘッドは実験で8%にとどまる。
• 物理におけるゲージ理論に基づくアプローチを採用し、対称性破れ項をゲージ場とみなして、ゴールドストーンモード方向に寄与を最小化する。

実験結果

リサーチクエスチョン

• RQ1 連続的対称性およびその破れは、逐次的表現モデルにおける勾配降下法の収束挙動にどのように影響を与えるか？
• RQ2 なぜ標準的最適化手法は、動的行列分解や動的単語埋め込みのような自発的対称性破れを示すモデルでは効率的に収束しないのか？
• RQ3 ゴールドストーンモードの影響を明示的に排除することを目的とした最適化アルゴリズムを設計可能か？
• RQ4 ゴールドストーンモードを除去することで、時系列モデルにおける学習済み表現の解釈可能性および時間的一致性はどの程度向上するか？
• RQ5 提案手法により、現代語を歴史的語に変換するような実用的応用が可能になるか？

主な発見

• ゴールドストーン-GDは、動的行列分解および動的単語埋め込みにおいて、標準的勾配降下法や対角的事前条件付けよりも少なくとも1つのオーダーの高速な収束を達成する。
• 動的単語埋め込みにおいて、ゴールドストーン-GDは現代語を妥当な歴史的語に変換する成功例を示している——例として「wagon」が「car」に対応する——一方、標準的GDではそのような解釈可能な結果は得られない。
• 最初と最後の時刻における単語埋め込みのコサイン類似度は、ゴールドストーン-GDでは80%のケースで60%以上の重複を示す一方、ベースラインでは60%未満、さらには負の重複も観測される。
• テストセットにおける予測対数尤度はゴールドストーン-GDでわずかに向上（1点あたり−0.5317 vs. −0.5323）し、正則化項の効果が小さいものの、一般化性能の向上を示唆する。
• アルゴリズムは、埋め込み空間における不自然な回転の影響を低減し、時間経過に伴う意味的整合性を保証する。これは時系列モデリングにおいて極めて重要である。
• 周期的な対称性部分空間最小化に起因する実行時間のオーバーヘッドはわずか8%にとどまり、大規模モデルへの実用的適用が可能である。