[論文レビュー] Pattern theory: the mathematics of perception

David Mumford|arXiv (Cornell University)|Dec 1, 2002

Neural Networks and Applications参考文献 23被引用数 58

ひとこと要約

本稿では、ベイズ統計的推論と確率過程を用いて感覚信号をモデル化する数学的枠組みとしてパターン理論を提案する。形状および特徴点変換をモデル化するため、正則化されたオイラー方程式を用いた微分同相群上の測地線流れを導入し、ノイズが多く不完全なデータ（音声や画像など）に対しても頑健なパターン認識を可能にする。

ABSTRACT

Is there a mathematical theory underlying intelligence? Control theory addresses the output side, motor control, but the work of the last 30 years has made clear that perception is a matter of Bayesian statistical inference, based on stochastic models of the signals delivered by our senses and the structures in the world producing them. We will start by sketching the simplest such model, the hidden Markov model for speech, and then go on illustrate the complications, mathematical issues and challenges that this has led to.

研究の動機と目的

• 論理的または決定的規則ではなく、統計的推論に基づく知覚の数学的基盤を確立すること。
• 音声や視覚的状況などの曖昧でノイズの多い感覚信号を、確率過程としてモデル化することで、その解釈の課題に取り組むこと。
• 脳や機械が不完全または歪んだ信号から構造を推論する仕組みを理解するための幾何学的・確率的ツールを開発すること。
• 微分幾何学と確率論に基づく単一の枠組みで、多様な知覚現象（音声、視覚）を統合すること。
• 生の感覚入力からのみ、教師なしでパターンを発見できる知能システムの構築を可能にすること。

提案手法

• 音声知覚の基盤として、音素を確率的遷移を持つ確率的状態として表現する隠れマルコフモデル（HMM）を用いる。
• 前方後方アルゴリズムを用いて、観測された音響信号から隠れ状態（例：音素）の後験的確率を計算するベイズ推論を適用する。
• テンプレートマッチング方程式（TME）を、正則化された可圧縮オイラー方程式から導出することで、微分同相群上の無限次元多様体における測地線経路として知覚的推論をモデル化する。
• 微分作用素（例：(I−Δ)²）のグリーン関数を用いて、形状空間および特徴点空間における計量を定義し、形状および点配置空間におけるリーマン幾何学を可能にする。
• 微分同相群上のブラウン運動を用いて、形状空間（Sₙ, Lₙ）におけるランダムウォークを構築し、統計的モデリングのための確率測度を生成する。
• 特徴点の運動に関するハミルトニアン常微分方程式（ODE）を導出する。ここで点同士は相対速度および空間的近接性に基づいて引き寄せられたり反発し合ったりする。このモデルは形状変形を再現する。

実験結果

リサーチクエスチョン

• RQ1 知覚を論理的帰納ではなく、統計的推論問題として形式化する方法は何か？
• RQ2 ノイズが多く不完全な感覚入力から一貫したパターンを知覚する脳の能力の背後にある数学的構造は何か？
• RQ3 微分同相群上の測地線流れは、知覚的類似性を反映する形で形状および特徴点の変換をどのようにモデル化できるか？
• RQ4 正則化されたオイラー方程式（TME）は、形状および信号の変形を安定的かつ微分可能な形でモデル化するために果たす役割は何か？
• RQ5 教師なし学習システムは、事前のラベルなしに生の感覚データから統計的に有意なパターンを発見できるか？

主な発見

• 隠れマルコフモデルは、音響信号から音素の後験的確率を計算することで、音声知覚を効果的にモデル化し、統計的手法が論理的手法を上回ることを示している。
• テンプレートマッチング方程式（TME）は、形状および特徴点空間における滑らかな測地線流れをサポートする正則化・可圧縮オイラー方程式を提供し、安定した形状モデリングを可能にする。
• 特徴点配置（Lₙ）において、核関数に基づく計量 Gᵢⱼ = K(‖Pᵢ − Pⱼ‖)⁻¹ により測地線距離が計算され、同方向を向いた点同士は引き寄せられ、逆方向を向いた点同士は反発するハミルトニアン系が得られる。
• 形状空間（Sₙ）においては、形状境界に支持された運動量から測地線が生じ、中点軸構造などの知覚的不変性を反映しており、豊かな幾何的構造が示唆される。
• 微分同相群上のブラウン運動によって生成されるS₂上のランダムウォークは、現実的な形状変形を生み出し、シミュレーションでは円形から不規則な形状への自然な遷移が観察される。
• この枠組みは、複雑な感覚信号の非パラメトリックモデリングを可能にし、生の入力からのみパターンを発見できる完全に教師なしの学習マシンの実現に道を拓く。