[論文レビュー] Notes on information geometry and evolutionary processes

Marc Toussaint|ArXiv.org|Aug 20, 2004

Gene Regulatory Network Analysis参考文献 7被引用数 9

ひとこと要約

本稿は、進化的計算における確率分布の構造的性質を分析する枠組みとして情報幾何を導入し、Amariの$\theta$-座標が正確に$k$次相互作用を捉え、均一な交差といった進化的演算子が$m$-地図に沿った直交射影として解釈され、高階依存性が低減されることを示している。主な貢献は、情報幾何と進化的計算の概念を幾何学的に統合し、ビルディングブロック基底がAmariの$\eta$-基底と等価であることを明らかにした点であり、Kullback-Leibler発散とピタゴラス型定理を用いることで、演算子の理解を深めることを可能にした。

ABSTRACT

In order to analyze and extract different structural properties of distributions, one can introduce different coordinate systems over the manifold of distributions. In Evolutionary Computation, the Walsh bases and the Building Block Bases are often used to describe populations, which simplifies the analysis of evolutionary operators applying on populations. Quite independent from these approaches, information geometry has been developed as a geometric way to analyze different order dependencies between random variables (e.g., neural activations or genes). In these notes I briefly review the essentials of various coordinate bases and of information geometry. The goal is to give an overview and make the approaches comparable. Besides introducing meaningful coordinate bases, information geometry also offers an explicit way to distinguish different order interactions and it offers a geometric view on the manifold and thereby also on operators that apply on the manifold. For instance, uniform crossover can be interpreted as an orthogonal projection of a population along an m-geodesic, monotonously reducing the theta-coordinates that describe interactions between genes.

研究の動機と目的

• 確率分布の構造を分析するための座標系を比較することで、情報幾何と進化的計算を統一すること。
• 情報理論的距離を用いて、突然変異、交差、選択といった進化的演算子の幾何的解釈を明確にすること。
• 進化的計算におけるビルディングブロック基底がAmariの$\\eta$-基底に等価であり、$\theta$-座標が$k$次相互作用を正確に分解できることを示すこと。
• 均一な交差や最大エントロピー探索といった演算子が、Kullback-Leibler発散を最小化する直交射影として情報幾何的に解釈できることを示すこと。

提案手法

• 確率分布の多様体上での分布表現に、Amariの$\theta$-および$\eta$-座標系を用い、$k$次相互作用成分への分解を可能にする。
• Kullback-Leibler発散をRiemann計量として用い、分布間の幾何的距離および射影を定義する。
• 均一な交差を、$p$からその1次還元$ p^{(1)} $への$m$-地図に沿ったステップとして解釈し、$\theta_{1^*}$座標を低減する直交射影に対応させる。
• KL発散のピタゴラス定理を用いて、発散の最小化を直交射影として解釈し、特に最大エントロピー原理の文脈で活用する。
• ウォルシュ基底とビルディングブロック基底をAmariの$\eta$-基底と比較し、構造的および解釈的同等性を示す。
• 選択と再結合をそれぞれエントロピー低減およびエントロピー増加プロセスとしてモデル化し、探索ヒューリスティクスを部分多様体上の幾何的操作として定式化する。

実験結果

リサーチクエスチョン

• RQ1 情報幾何は、進化的計算における確率分布の構造を分析する幾何的枠組みをどのように提供するか？
• RQ2 ウォルシュ基底、ビルディングブロック基底、およびAmariの$\theta$-および$\eta$-座標系との関係は何か？
• RQ3 均一な交差といった進化的演算子は、直交射影といった幾何的操作としてどのように解釈できるか？
• RQ4 探索ヒューリスティクスにおける最大エントロピー原理は、Kullback-Leibler発散を最小化する幾何的射影として理解できるか？
• RQ5 $k$次相互作用成分（$\theta_{k^*}$）は、集団の構造的内容を特徴付ける上で果たす役割は何か？

主な発見

• 進化的計算で用いられるビルディングブロック基底は、数学的にAmariの$\eta$-基底と等価であり、エピスタシスと構造的分解の統一的解釈を可能にする。
• Amariの$\theta$-座標は、$k$次相互依存性を正確に情報幾何的に分解するものであり、エピスタシス解析のためのウォルシュスペクトルの代替手段を提供する。
• 均一な交差は、$p$から$ p^{(1)} $への$m$-地図に沿った直交射影として作用し、高階依存性を表す$\theta_{1^*}$座標を単調に低減する。
• 探索ヒューリスティクスで用いられる最大エントロピー原理は、$\theta_{2^*} = 0$と設定することに相当し、親分布を部分多様体$E_{2^*}(0)$に直交射影する操作に等しく、KL発散を最小化する。
• Kullback-Leibler発散は情報幾何においてピタゴラス型定理を満たし、最小化問題を直交射影として幾何学的に解釈可能である。
• 幾何的視点により、選択がエントロピーを低減する一方で、突然変異と交差は一般的に相互情報量の減少を伴い、$\theta$-座標の減少によって測定される構造的コンテンツを破壊することが明らかになった。