[論文レビュー] Data analysis recipes: Choosing the binning for a histogram

David W. Hogg|ArXiv.org|Jul 30, 2008

Advanced Clustering Algorithms Research被引用数 6

ひとこと要約

この論文は、未来のデータの予測精度を最大化するために、バイナリの幅と位置を最適化するための、恣意的でない方法を提案している。この手法は、ジャックナイフ交差検証尤度を用いて、バイナリの幅と位置を最適化する。このアプローチは任意の次元に一般化可能であり、粗いバイナリ（過小適合）と細かいバイナリ（過小適合）のバランスを取ることで、任意のバイナリリングより優れた性能を発揮する。最適な結果は、尤度スコアのグリッドサーチによって得られる。

ABSTRACT

Data points are placed in bins when a histogram is created, but there is always a decision to be made about the number or width of the bins. This decision is often made arbitrarily or subjectively, but it need not be. A jackknife or leave-one-out cross-validation likelihood is defined and employed as a scalar objective function for optimization of the locations and widths of the bins. The objective is justified as being related to the histogram's usefulness for predicting future data. The method works for data or histograms of any dimensionality.

研究の動機と目的

• データ解析におけるヒストグラムビニングの恣意的または主観的な選択という長年の問題に取り組む。
• 未観測データの予測力の最大化を目的とした、原理的で客観的なビニング幅とビン位置の選択方法を確立する。
• このアプローチを多次元データおよび非一様重み付き測定に一般化する。
• 既存のビニング手法（例：ストゥルジーズのルールやフリードマン＝ダイアコニスのルール）とは異なり、計算的に実行可能で頑健な代替手法を提供する。
• データ分布の形状に関する仮定やヒューリスティクスに依存せずに、ビニングを最適化できるかを示す。

提案手法

• 各ビンの確率がその重み付きカウントに比例し、スムージングパラメータ α を加えたモデル確率密度関数を定義する。
• 目的関数として、1点ずつを除いた交差検証（ジャックナイフ）尤度を用いる：各データポイント j に対して L = Σ w_j * ln( (W_i + α - w_j) / (Δ_i * (Σ(W_k + α) - w_j)) ) が成り立つ。
• グリッドサーチを用いて、ビン数、ビンエッジ、位相、およびスムージング α のビニングパラメータを最適化し、ジャックナイフ尤度を最大化する。
• ヒストグラムを真の確率密度関数の区分的定数近似とみなして、非パラメトリック密度推定問題としてビニングを扱う。
• 非一様重みを許容し、等幅または重複するビンを用いて多次元データへの拡張を可能にする。
• 過小適合を回避するためにジャックナイフ尤度を用いる：あまりに細かいビンは空またはほぼ空のビンを生じさせ、結果として尤度が低下する。

実験結果

リサーチクエスチョン

• RQ1 未来のデータの予測精度を最大化するための最適なビン数と幅は何か？
• RQ2 ビニングを恣意的ではなく、客観的に選ぶ方法は何か？
• RQ3 交差検証アプローチを用いて多次元データのビニングを最適化できるか？
• RQ4 スムージングパラメータ α の選択が、ビニング最適化の安定性と性能に与える影響は何か？
• RQ5 ビニングが新しいデータポイントの尤度に与える影響は何か？ そして、これを目的関数として形式化できるか？

主な発見

• ジャックナイフ尤度手法は、モデルの複雑さと予測力のバランスを取るビニング構成を的確に特定でき、過小適合および過小適合を回避する。
• 最適なビン幅は、サンプルサイズが増加するにつれて小さくなり、真の確率密度関数の特徴が狭くなるほど小さくなる。
• この手法はスムージングパラメータ α の選択に対して頑健であるが、多くのビンが空またはほぼ空の場合、感度が高くなる。
• ビンエッジの通過に起因する不連続性のため、尤度関数は不連続であり、勾配フリー最適化手法（例：グリッドサーチ）が必要となる。
• このアプローチは多次元データに自然に一般化可能であり、次元の呪いのため、高次元では粗いビニングが要求される。
• この手法は任意のビニングルールを上回り、特に低次元から中程度次元の設定において、カーネル密度推定とは対照的に原理的で代替可能な手法を提供する。