[論文レビュー] Achievable Rates for Pattern Recognition

M. Brandon Westover, Joseph A. O’Sullivan|ArXiv.org|Sep 8, 2005

Neural Networks and Applications参考文献 25被引用数 6

ひとこと要約

本稿は、パターン認識におけるリソース制約（メモリ容量および感覚的データレート）と環境の複雑さの間の根本的トレードオフを特徴付ける、一般化された情報理論的枠組みを導入する。信頼性のある分類が可能な実現可能なレートの単一文字式の上限を導出し、最適な性能が圧縮表現とパターンの間の相互情報量によって支配されることを示している。二値およびガウス型のケースに対して明示的な解が得られる。

ABSTRACT

Biological and machine pattern recognition systems face a common challenge: Given sensory data about an unknown object, classify the object by comparing the sensory data with a library of internal representations stored in memory. In many cases of interest, the number of patterns to be discriminated and the richness of the raw data force recognition systems to internally represent memory and sensory information in a compressed format. However, these representations must preserve enough information to accommodate the variability and complexity of the environment, or else recognition will be unreliable. Thus, there is an intrinsic tradeoff between the amount of resources devoted to data representation and the complexity of the environment in which a recognition system may reliably operate. In this paper we describe a general mathematical model for pattern recognition systems subject to resource constraints, and show how the aforementioned resource-complexity tradeoff can be characterized in terms of three rates related to number of bits available for representing memory and sensory data, and the number of patterns populating a given statistical environment. We prove single-letter information theoretic bounds governing the achievable rates, and illustrate the theory by analyzing the elementary cases where the pattern data is either binary or Gaussian.

研究の動機と目的

• 信頼性のあるパターン認識が可能な環境の複雑さとデータ圧縮リソースの間の本質的トレードオフを形式化すること。
• 確率的制約の下で、圧縮された感覚的および記憶データからの推論問題としてパターン認識をモデル化すること。
• メモリレート $ R_m $、感覚的データレート $ R_y $、パターン識別レート $ R_c $ の3つの主要なレートを、分類性能の実現可能性の観点から定義し分析すること。
• これらの制約下での信頼性のあるパターン認識の根本的限界を特徴付ける単一文字式の情報理論的境界を導出すること。
• 二値およびガウス型のパターン認識モデルに対して理論を明示的な解で示すこと。

提案手法

• 訓練段階とテスト段階を含む確率的パターン認識モデルを形式化し、パターンが分布から抽出され、観測中にノイズによって汚される。
• 3つの主要なレート、すなわち $ R_m $（メモリレート）、$ R_y $（感覚的データレート）、$ R_c $（パターン識別レート）を導入し、それぞれが記憶、観測、パターン集合のサイズあたりのビット数を表す。
• マークフ・チェーンと条件付き独立性を用いて、実現可能なレート領域を境界付けるために、相互情報量 $ I(U;W) $、$ I(Y;U) $、$ I(Y;W) $ などの情報理論的ツールを適用する。
• 特にデータ処理不等式とマークフ構造を活用して、単一文字式の表現を用いて実現可能なレート領域の内側と外側の境界を導出する。
• 離散および連続ガウス変数の既知の相互情報量の公式を活用して、二値およびガウス型のケースを解く。
• 凸包解析と接平面幾何学を用いて、実現可能なレート領域の境界を特徴付け、最適な点が相互情報量で定義される表面の凸包上にあることを示す。

実験結果

リサーチクエスチョン

• RQ1 パターン認識に使用されるメモリ容量と感覚的データ量と、システムが信頼性を持って区別できる異なるパターンの数との間の根本的トレードオフは何か？
• RQ2 情報理論的原則を用いて、メモリ、感覚的データ、パターン識別それぞれの実現可能なレートをどのように特徴づけられるか？
• RQ3 リソース制約下での信頼性のあるパターン認識の実現可能なレート領域に対する単一文字式の境界は何か？
• RQ4 二値およびガウス型のパターン認識モデルにおける実現可能なレートはどのように異なり、閉形式の解は何か？
• RQ5 凸包と接平面を用いて、実現可能なレート領域の境界を幾何学的に特徴づけられるか？

主な発見

• 本稿は、実現可能なレートの集合が、圧縮表現とパターンの間の相互情報量を含む単一文字式の情報理論的表現によって境界づけられる領域内に存在することを確立している。
• 二値ケースでは、実現可能なレート領域が二値確率変数間の相互情報量によって特徴づけられ、データ処理不等式を用いて明示的な境界が導出される。
• ガウス型ケースでは、実現可能なレートが共にガウス分布に従うベクトル間の相互情報量によって決定され、相関係数を用いた閉形式の解が得られる。
• 実現可能なレート領域の境界が、相互情報量で定義される表面の凸包であることが示され、最適な点はその凸包上にあるか、表面上の点と原点を結ぶ線分上にある。
• 解析により、最適なレート領域がマークフ・チェーン $ U - Y - W $ によって制限されることを明らかにした。ここで $ U $ は圧縮されたメモリ表現、$ Y $ はノイズのある観測、$ W $ はパターンラベルを表す。
• ガウス型モデルでは、相互情報量 $ I(X;Y) $ が相関係数 $ \rho_{x,y} $ のみに依存し、$ I(X;Y) = \frac{1}{2}\log(1 + \frac{P}{N}) $ であることが示され、これが直接的にレート境界を決定する。