[論文レビュー] The knee-jerk mapping

Peter G. Doyle, Jim Reeds|ArXiv.org|Jun 2, 2006

Machine Learning and Algorithms参考文献 6被引用数 3

ひとこと要約

本稿は、EMアルゴリズムなどの最適化アルゴリズムにおけるキネジー・マッピング（knee-jerk mapping）の厳密な理論的基盤を提示する。このマッピングは、変数をその偏導関数でスケーリングすることにより定義され、単体上での対数対数凸関数に対して、対数空間における log Z の凸性と I-発散の最小化による下界の最大化により、目的関数が単調に増加することを示している。

ABSTRACT

We claim to give the definitive theory of what we call the `knee-jerk mapping', which is the basis for a class of optimization algorithms introduced by Baum, and promoted by Dempster, Laird, and Rubin under the name `EM algorithm'.

研究の動機と目的

• 最適化アルゴリズム（例：EM）に用いられるキネジー・マッピングの決定的理論的基盤を確立すること。
• キネジー・マッピングが単体上での対数対数凸関数の値を厳密に増加させる理由を説明すること。
• 凸性と発散最小化の原則の下でのマッピングの挙動を統一すること。
• 重み付き単体および単体の積へのマッピングの一般化を行うこと。
• 対数対数凸および対数凹関数の構造によって、マッピングの収束が保証されることを示すこと。

提案手法

• キネジー・マッピングを $ x' = T_Z(x) = \frac{1}{\sum_i x_i Z_{x_i}} (x_1 Z_{x_1}, \dots, x_n Z_{x_n}) $ として定義し、正の直交座標から単体への写像とする。
• Z が対数対数凸であるとは、$ \log Z $ が $ (\log x_1, \dots, \log x_n) $ において凸であることと同値であり、これにより接平面不等号が成立することが保証される。
• 単体制約 $ \sum x_i = 1 $ の下で、$ \log Z(\bar{x}) - \log Z(x) $ の下界をラグランジュ乗数法を用いて最大化し、キネジー更新式が導かれる。
• ジェンセンの不等式を適用して、I-発散 $ I({\bf x}'; {\bf x}) \geq 0 $ が成り立つことを示し、これが Z の単調増加を裏付ける。
• 重み付き単体 $ \Sigma_{{\bf a}} $ に対して $ x'_i = \frac{x_i Z_{x_i} / a_i}{\sum_j x_j Z_{x_j} / a_j} $ と一般化し、単調性を保つ。
• 単体の積への拡張では、マッピングが各単体成分に対して独立に作用し、I-発散の和を用いることで不等号が維持される。

実験結果

リサーチクエスチョン

• RQ1 なぜキネジー・マッピングは単体上での対数対数凸関数の値を厳密に増加させるのか？
• RQ2 このマッピングの単調性には、幾何学的および情報理論的根拠があるか？
• RQ3 このマッピングは EM アルゴリズムや他の最適化手法とどのように関係しているか？
• RQ4 重み付きや積の単体制約のような非標準的な制約に対しても、このマッピングを一般化できるか？
• RQ5 対数凹性は、このような関数の最大値の一意性を保証するために果たす役割は何か？

主な発見

• キネジー・マッピングは、対数空間における $ \log Z $ の凸性に基づく下界を最大化することで、各反復で Z を増加させる。
• 不等号 $ \log \frac{Z'}{Z} \geq \frac{\sum x_i Z_{x_i}}{Z} I({\bf x}'; {\bf x}) \geq 0 $ により、単調な改善が証明され、等号は $ {\bf x} $ が臨界点である場合にのみ成立する。
• 関数 $ x_1 + \cdots + x_n $ は基本的なキネジー関数であり、その対数対数凸性がジェンセンの不等式を介して I-発散の非負性を支えている。
• グラフの判別式（例：$ D_G = xy + xz + yz $）は対数凹かつ対数対数凸であり、キネジー最適化の有効な候補となる。
• マッピングは $ \Sigma $ 上で Z の臨界点に収束し、Z が対数凹であるため、その点は一意の全域最大値である。
• 重み付き単体 $ \Sigma_{{\bf a}} $ および単体の積への一般化は、重み付きおよび成分別 I-発散項を用いることで、単調性の性質を保つ。