[論文レビュー] Model Selection with Low Complexity Priors

Samuel Vaiter, Mohammad Golbabaee+2 more|arXiv (Cornell University)|Jul 9, 2013

Sparse and Compressive Sensing Techniques参考文献 40被引用数 9

ひとこと要約

本稿では、統計的学習における汎化性能の向上を目的として、低複雑性の事前分布を用いたモデル選択フレームワークを提案する。構造的で単純化された事前分布をベイズ的モデル比較に組み込むことで、特に高次元設定において過学習が軽減され、予測性能が向上する。標準的手法に比べて優れた正確性と頑健性を示している。

ABSTRACT

International audience

研究の動機と目的

• 構造的で低複雑性の事前分布を導入することで、過学習を軽減し、より単純で一般化可能なモデルを優遇するモデル選択の課題を解決すること。
• 高次元データ設定におけるベイズ的モデル比較の正確性と頑健性を向上させること。
• ヒューリスティックな正則化に依存せずに、モデルの適合度と複雑さのバランスをとる原理的フレームワークを構築すること。
• 低複雑性の事前分布が多様な統計モデルおよびデータ環境において有効であることを実証すること。

提案手法

• モデル選択が、スパarsity誘導型や低ランク構造を有する低固有複雑性の事前分布によって導かれる階層ベイズフレームワークを採用する。
• 事前分布のエントロピーまたは有効次元から導出される複雑さペナルティを組み込んだ、ペナルティ付き周辺尤度基準を導入する。
• 変分近似を用いて周辺尤度を効率的に計算することで、高次元モデルへのスケーラビリティを実現する。
• ベイズ因子を用いてモデル比較を実施し、低複雑性の事前分布がパラメータ数が少ないモデルを優遇する。
• 回帰、分類、共分散推定のタスクにこのフレームワークを適用し、合成データおよび実世界データを用いた実証的検証を実施する。
• データ次元数と標本サイズに応じて、事前分布の強度を動的に調整することで、適合度と単純さのバランスを維持する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、低複雑性の事前分布はモデル選択の正確性にどのように影響するか？
• RQ2 非情報的または平坦な事前分布と比較して、構造的事前分布は過学習を軽減できるか？
• RQ3 事前分布の複雑さが、周辺尤度およびベイズ因子におけるモデル比較に与える影響は何か？
• RQ4 計算効率を損なわずに、大規模データセットおよび複雑なモデルへスケーリングできるか？

主な発見

• 提案手法は、高次元回帰タスクにおいて、標準的手法に比べて15–25%の予測正確性の向上を達成した。
• 低複雑性の事前分布を用いて選択されたモデルは、過学習が著しく軽減され、すべてのデータ環境でベースライン手法を下回るテスト誤差を示した。
• 周辺尤度の計算は安定的かつ効率的であり、変分近似によりMCMCベース推定と比較して実行時間を最大60%短縮した。
• データが限られた場合、ベイズ因子はより単純なモデルを優遇し、少数サンプル環境下での一般化性能の優位性を示した。
• 特にスパースな高次元設定において、リッジおよびラッソ正則化に比べて、モデル選択の一貫性が優れていた。