[論文レビュー] Partition-wise Linear Models

Hidekazu Oiwa, Ryohei Fujimaki|arXiv (Cornell University)|Oct 31, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用数 14

ひとこと要約

本稿では、局所的予測子を分割固有の重みベクトルの線形結合として表現する、領域特化型線形モデルの凸型定式化であるパーティションワイズ線形モデルを提案する。離散的な候補からスパースで構造的な正則化を用いて領域の分割を最適化することで、初期化に依存せず、グローバルに最適な解が得られ、一般化バウンドを有する。実験的評価では、最先端の局所線形および領域特化型モデルを上回る性能を示した。

ABSTRACT

Region-specific linear models are widely used in practical applications because of their non-linear but highly interpretable model representations. One of the key challenges in their use is non-convexity in simultaneous optimization of regions and region-specific models. This paper proposes novel convex region-specific linear models, which we refer to as partition-wise linear models. Our key ideas are 1) assigning linear models not to regions but to partitions (region-specifiers) and representing region-specific linear models by linear combinations of partition-specific models, and 2) optimizing regions via partition selection from a large number of given partition candidates by means of convex structured regularizations. In addition to providing initialization-free globally-optimal solutions, our convex formulation makes it possible to derive a generalization bound and to use such advanced optimization techniques as proximal methods and decomposition of the proximal maps for sparsity-inducing regularizations. Experimental results demonstrate that our partition-wise linear models perform better than or are at least competitive with state-of-the-art region-specific or locally linear models.

研究の動機と目的

• 領域特化型線形モデルにおける非凸性と初期化依存性を解消し、グローバル最適化と一般化解析を可能にする。
• 領域の分割と局所線形予測子の共同学習を可能にする凸最適化フレームワークを構築する。
• 導出した一般化バウンドにより、一般化誤差解析を可能にする。
• パーティション選択における構造的スパース性を活用し、予測性能と解釈可能性を向上させる。
• 既存の局所線形および領域特化型モデルに対するスケーラブルで初期化に依存しない代替手法を提供する。

提案手法

• 各パーティションが入力空間を2つの領域に分割するように、局所的予測子を個々のパーティションに割り当てられた重みベクトルの線形結合としてパrameterizeする。
• 領域特化型モデルをパーティション特化型モデルの凸結合として表現することで、モデルパラメータに関する凸最適化を可能にする。
• スパースで構造的な正則化を用いて、多数の候補からパーティションのスパースサブセットを選択することで、領域構造を最適化する。
• 近接射法と近接写像の分解を用いて、構造的スパース最適化問題を効率的に解く。
• ウォームスタート戦略と段階的最適化技術を用いて、大規模データセットへのスケーラビリティを向上させる。
• グローバルモデルと局所的パーティションワイズモデルを統合してグローバル/ローカル残差モデルを構築し、予測精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 領域特化型線形モデルの凸型定式化は、初期化依存性を排除し、グローバル最適化を可能にするか？
• RQ2 離散的パーティション候補に対する構造的スパース正則化は、一般化性能とパーティション選択のスパース性を向上させるか？
• RQ3 パーティションワイズ線形モデルは、最先端の局所線形および領域特化型モデルと比較して優れたまたは競争力のある性能を達成するか？
• RQ4 多数のパーティション候補を有するパーティションワイズ線形モデルに対して、一般化バウンドを導出できるか？
• RQ5 データスケールやパーティション生成戦略の変化に対して、モデルの性能はどのように変化するか？

主な発見

• 提案されたパーティションワイズ線形モデルは、8つの回帰データセットのうち7つで最高または第2位の性能を達成し、Linear、RegTree、RBF-SVRを顕著に上回った。
• energy_heatデータセットでは、ルート平均二乗誤差が0.101（0.014）であったのに対し、Linearは0.480、RegTreeは0.050であった。
• ウォームスタートを用いたモデルは、ウォームスタートなしの場合よりも訓練誤差率の低下が速く、収束効率の向上を示した。
• 一般化バウンドの解析から、サンプルサイズに対して指数的でない割合でパーティション候補数を増やすことが可能であり、良好な実験的性能を支持する結果が得られた。
• 凸性のおかげで初期化に依存せずグローバルに最適な解が得られ、非凸型定式化で一般的に見られる局所最適解の問題を回避した。
• 近接写像の分解により効率的な最適化が可能となり、確率的および並列的手法を用いることで大規模データセットに対しても良好にスケーリングされた。