[論文レビュー] Maximum likelihood aggregation and misspecified generalized linear models

Philippe Rigollet|arXiv (Cornell University)|Nov 16, 2009

Statistical Methods and Inference参考文献 23被引用数 2

ひとこと要約

本稿は、モデルの同定可能性や真のモデルを必要としない一般化線形モデルの最尤集合化フレームワークを提案する。制約付き最尤推定を用いることで、期待値および高確率において鋭いオラクル不等式を達成する。小標本における正確な誤差境界を提供し、制約幾何の設計指針を提示する。特に、自然な凸損失関数を用いた二値分類におけるLogitBoostへの応用を含む。

ABSTRACT

We study a natural extension of the pure aggregation problem to handle more general distributions for the response in a regression setup with random or deterministic design. While this extension bears strong connections with generalized linear models, it does not require identifiability of the parameter or even that the model is true. It is shown that this problem can be solved by constrained likelihood maximization and we derive sharp oracle inequalities that hold both in expectation and with high probability. A new proof technique is employed and yields error bounds that are accurate already for small sample sizes and provide guidelines to choose the geometry of the constraint. To illustrate the main results, we derive generalization error bounds for the LogitBoost algorithm in binary classification with a natural convex loss function. Mathematics Subject Classifications: Primary 62G08, Secondary 62J12, 62H30, 62G07.

研究の動機と目的

• ランダムまたは固定設計における回帰において、標準的な一般化線形モデルを超えて、一般の応答分布への純粋集合化の拡張を図ること。
• パrameterの同定可能性やモデルの真偽を必要としないフレームワークを構築し、モデル不適合下でもロバストな推定を可能にすること。
• 新しい証明技法を用いて、小標本でも正確に保証される有限標本誤差境界を導出すること。
• 性能最適化のための制約幾何の選定に関する実用的ガイドラインを提供すること。
• LogitBoostアルゴリズムの一般化誤差境界を導出することで、本手法の実用的有用性を示すこと。

提案手法

• モデル不適合下でも同定可能性や真のモデルを要件としないため、制約付き最尤最大化として問題を定式化する。
• 期待値および高確率において成り立つ鋭いオラクル不等式を導出するための新しい証明技法を採用する。
• 制約集合の幾何に依存するが、小標本でも正確な誤差境界を導出する。
• 二値分類におけるLogitBoostアルゴリズムの分析を具体的応用として、自然な凸損失関数を用いる。
• 標準的な正則性仮定を緩和しつつ、集合化フレームワークと一般化線形モデルとの関係を確立する。
• 有限標本性能を向上させるために、導出された誤差境界に基づく制約幾何選択戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 純粋集合化を、同定可能性や真のモデルを要件としない一般の応答分布への回帰に拡張する方法は何か？
• RQ2 制約幾何が最尤集合化の有限標本性能に与える影響は何か？
• RQ3 新しい証明技法を用いて、不適合モデルに対して鋭いオラクル不等式を導出可能か？
• RQ4 提案された境界は、二値分類におけるLogitBoostのような実用的アルゴリズムにどのように適用可能か？
• RQ5 真のモデルが検討対象のクラスに含まれない場合の一般化誤差に対する理論的保証は何か？

主な発見

• 提案手法は、モデル不適合下であっても、期待値および高確率において鋭いオラクル不等式を達成する。
• 新しい証明技法により、小標本でも正確な誤差境界が得られ、有限標本解析に適している。
• 制約幾何が性能に顕著な影響を及ぼし、本稿ではその最適選択のためのガイドラインを提示する。
• フレームワークはLogitBoostアルゴリズムにうまく一般化され、自然な凸損失関数を用いた理論的裏付けが得られた。
• 結果として、モデルが同定可能でないか真のモデルでもない場合でも、最尤に基づく集合化が有効であることが示された。
• 導出された境界はタイトで情報量が多く、モデルの複雑さと推定誤差のトレードオフに関する実用的洞察を提供する。