[論文レビュー] On the accuracy of self-normalized log-linear models

Jacob Andreas, Maxim Rabinovich+2 more|arXiv (Cornell University)|Jun 12, 2015

Bayesian Modeling and Causal Inference参考文献 10被引用数 7

ひとこと要約

本稿は、自己正規化ロジスティック線形モデルの理論的分析を初めて提供し、自己正規化がモデル尤度に有界な損失をもたらす一方で、未正規化スコアを確率として近似することで効率的な推論を可能にすることを示している。正規化子の分散に関する一般化境界を確立し、予測分布のエントロピーが高いか低いかの場合に自己正規化がより容易であることが特定され、中間の場合は困難であることが判明。実験的検証により、これらの予測が裏付けられている。

ABSTRACT

Calculation of the log-normalizer is a major computational obstacle in applications of log-linear models with large output spaces. The problem of fast normalizer computation has therefore attracted significant attention in the theoretical and applied machine learning literature. In this paper, we analyze a recently proposed technique known as "self-normalization", which introduces a regularization term in training to penalize log normalizers for deviating from zero. This makes it possible to use unnormalized model scores as approximate probabilities. Empirical evidence suggests that self-normalization is extremely effective, but a theoretical understanding of why it should work, and how generally it can be applied, is largely lacking. We prove generalization bounds on the estimated variance of normalizers and upper bounds on the loss in accuracy due to self-normalization, describe classes of input distributions that self-normalize easily, and construct explicit examples of high-variance input distributions. Our theoretical results make predictions about the difficulty of fitting self-normalized models to several classes of distributions, and we conclude with empirical validation of these predictions.

研究の動機と目的

• 高次元かつ複雑な入力空間において理論的課題が存在するにもかかわらず、実用的に自己正規化が機能する理由を理解すること。
• 自己正規化モデルにおけるモデル精度と正規化子近似誤差のトレードオフを特徴づけること。
• 自己正規化に適した入力分布のクラスを同定し、明示的に難しいと証明可能な例を構築すること。
• 自己正規化によって引き起こされる尤度ギャップに関する理論的境界を提供し、実験的成功と理論的根拠の間のギャップを埋めること。

提案手法

• 従来のモデルを拡張し、連続的かつ高次元の入力分布を含めるようにし、離散的かつ有限な出力空間にとどまらない分析を拡張する。
• 自己正規化下での対数正規化子の分散に関する一般化境界を導出することで、モデルの複雑さと近似安定性を結びつける。
• 真の正規化子を無視することによる予測性能の損失を定量化するための尤度ギャップ指標を導入する。
• 合成実験において温度パラメータを用いて、低エントロピーから高エントロピーへのラベル分布の補間を実施し、自己正規化の難易度を制御可能にした。
• 自己正規化言語モデルの実データに理論的境界を適用し、現実の分布における予測の妥当性を検証する。
• 自己正規化が普遍的でないことを示す、明示的な高分散入力分布の構築により、この手法の適用限界を探る。

実験結果

リサーチクエスチョン

• RQ1 入力分布にどのような条件下で、自己正規化が理論的に可能であり、モデル精度の損失が最小限に抑えられるか。
• RQ2 尤度ギャップ（自己正規化モデルと真の正規化モデルとの差）は、予測分布のエントロピーとどのようにスケーリングされるか。
• RQ3 近似的に自己正規化可能な分布の集合を形式的に特徴づけられ、それらを容易にする性質は何か。
• RQ4 尤度ギャップに関する理論的上界はタイトか、あるいは追加の構造的仮定のもとで改善可能か。
• RQ5 自己正規化が困難な分布は、微小な摂動に対して安定か。この安定性は、実用的意義に影響を与えるか。

主な発見

• 予測分布が高エントロピーまたは低エントロピーの場合、自己正規化モデルは有界な尤度ギャップを示すが、中間エントロピー領域ではギャップが増加する。
• 期待される一様性からのKullback-Leibler発散が非常に小さいか非常に大きい場合に、尤度ギャップが最小化され、理論的予測が裏付けられる。
• 合成データおよび実世界の言語モデルデータにおける実験的結果により、正規化精度と尤度損失のトレードオフが、予測されたパターンに従うことが確認された。
• 正規化子の分散に関する理論的境界が有用であることが示され、特にスペクトル的またはスパarsity仮定のもとで、より緊密な境界が達成可能である。
• 高分散入力分布の明示的構築により、自己正規化がすべての分布に適用可能ではないことが示され、特に混合エントロピー特性を示す分布では特に困難であることが判明した。
• 境界のタイトさ、近似的に自己正規化可能な分布の特徴づけ、摂動下での困難ケースの安定性に関する未解決の問題が同定された。