[論文レビュー] Maximally informative models and diffeomorphic modes in the analysis of large data sets

Justin B. Kinney, Gurinder S. Atwal|arXiv (Cornell University)|Dec 15, 2012

Gene Regulatory Network Analysis参考文献 15被引用数 1

ひとこと要約

この論文は、測定値 M と予測表現 R の間の相互情報量 I[M;R] を最大化することで、ノイズモデル R→M が不明または近似である場合の標準的手法の代わりに、尤度フリーな推論手法を提案する。大規模データの極限において、このアプローチはデータ処理不等式を満たすすべての依存度量を同時に最適化し、推論問題に内在する構造的制約を反映する「微分同相的モード」——パrameter空間における制約のない方向——を明らかにする。標準的な尤度手法ではこの構造が見えづらくなる。

ABSTRACT

Motivated by data-rich experiments in transcriptional regulation and sensory neuroscience, we consider the following general problem in statistical inference. When exposed to a high-dimensional signal S, a system of interest computes a representation R of that signal which is then observed through a noisy measurement M. From a large number of signals and measurements, we wish to infer the that maps S to R. However, the standard method for solving such problems, likelihood-based inference, requires perfect a priori knowledge of the mapping R to M. In practice such noise functions are usually known only approximately, if at all, and using an incorrect noise function will typically bias the inferred filter. Here we show that, in the large data limit, this need for a pre-characterized noise function can be circumvented by searching for filters that instead maximize the mutual information I[M;R] between observed measurements and predicted representations. Moreover, if the correct filter lies within the space of filters being explored, maximizing mutual information becomes equivalent to simultaneously maximizing every dependence measure that satisfies the Data Processing Inequality. It is important to note that maximizing mutual information will typically leave a small number of directions in parameter space unconstrained. We term these directions and present an equation that allows these modes to be derived systematically. The presence of diffeomorphic modes reflects a fundamental and nontrivial substructure within parameter space, one that is obscured by standard likelihood-based inference.

研究の動機と目的

• 測定値 M への写像関数 R→M が不正確または不明な場合の高次元データにおける統計的推論の課題に対処すること。
• 標準的な尤度ベース推論における誤ったノイズ仮定によるバイアスを回避する手法を開発すること。
• 事前に指定されたノイズモデルが存在しないことによって生じる、パrameter空間における内在的構造的特徴——特に微分同相的モード——を特定・特徴付けること。
• 大規模データの極限において、相互情報量 I[M;R] を最大化すると、すべての有効な依存度量を同時に最適化する、頑健な推論フレームワークが得られることを示すこと。
• 相互情報量最大化後に残る制約のない方向（微分同相的モード）を体系的に同定・特徴付けるための方法を提供すること。

提案手法

• 尤度ベース推論に依存するのではなく、入力信号 S から導出される予測表現 R と観測測定値 M の間の相互情報量 I[M;R] を最大化する。
• このアプローチは大規模データの極限で動作し、(S, M) の経験的分布が十分に密度をもつようになり、I[M;R] の信頼できる推定が可能になる。
• この手法は、フィルタ空間における制約のないパrameter方向の集合——「微分同相的モード」と呼ばれる——を特定する。これらの方向は相互情報量に影響を及ぼさないため、同定不能なままである。
• フィルタ写像のヤコビアンと表現空間の構造に基づいて、これらの微分同相的モードを計算する体系的な方程式を導出する。
• データ処理不等式を用いることで、I[M;R] を最大化することは、この不等式を満たすすべての依存度量を同時に最適化することに等しいことを示す。
• この手法はパrameter空間の滑らかで可逆な変換に対して不変であり、制約のないモードの幾何的性質を反映している。

実験結果

リサーチクエスチョン

• RQ1 ノイズモデル R→M が不明または近似である場合、相互情報量最大化が尤度ベース推論の頑健な代替手段として機能するか。
• RQ2 尤度ベース推論ではなく相互情報量最大化を用いる場合、パrameter空間にどのような構造的特徴が現れるか。
• RQ3 パrameter空間における制約のない方向（微分同相的モード）を体系的に同定・特徴付ける方法は何か。
• RQ4 I[M;R] を最大化することで、データ処理不等式を満たすすべての依存度量がどのように最適化されるか。
• RQ5 高次元推論の文脈において、微分同相的モードの根本的な幾何的・統計的起源は何か。

主な発見

• 大規模データの極限において相互情報量 I[M;R] を最大化することで、誤ったノイズモデルによるバイアスを回避する尤度フリー推論手法が得られる。
• この手法は、データ処理不等式を満たすすべての依存度量を同時に最適化するため、依存度量の選択に対して頑健である。
• 相互情報量最大化後にも、常に少数の制約のない方向——微分同相的モード——が残り、パrameter同定可能性の内在的制限を反映している。
• これらの微分同相的モードは、フィルタ写像のヤコビアンと表現空間の幾何構造に基づく方程式によって体系的に導出される。
• 微分同相的モードの存在は、標準的な尤度ベース推論では見えない、パrameter空間における非自明な部分構造を明らかにする。
• このフレームワークは、相互情報量最大化が頑健であるだけでなく、幾何的構造を完全に露呈するため、根本的により情報を含むことになることを示している。