[論文レビュー] Regularized Ordinal Regression and the ordinalNet R Package

Michael Wurm, Paul J. Rathouz+1 more|PubMed|Jun 15, 2017

Neural Networks and Applications参考文献 1被引用数 29

ひとこと要約

本稿では、順序尺度および非順序尺度の両方を含む多項回帰モデルのクラス「ELMO」を導入し、変数選択と予測性能の向上を目的とした座標降下法と結合したリッジ・ネット正則化手法を提案する。主な貢献は、平行（比例オッズ）モデルおよび非平行モデルの両方に対する効率的な罰則付き推定を可能にするRパッケージ ordinalNet の開発である。特に、非平行係数を平行構造に近づける半平行形のパrametrizationにより、解釈可能性と性能の両方を向上させている。

ABSTRACT

Regularization techniques such as the lasso (Tibshirani 1996) and elastic net (Zou and Hastie 2005) can be used to improve regression model coefficient estimation and prediction accuracy, as well as to perform variable selection. Ordinal regression models are widely used in applications where the use of regularization could be beneficial; however, these models are not included in many popular software packages for regularized regression. We propose a coordinate descent algorithm to fit a broad class of ordinal regression models with an elastic net penalty. Furthermore, we demonstrate that each model in this class generalizes to a more flexible form, that can be used to model either ordered or unordered categorical response data. We call this the <i>elementwise link multinomial-ordinal</i> (ELMO) class, and it includes widely used models such as multinomial logistic regression (which also has an ordinal form) and ordinal logistic regression (which also has an unordered multinomial form). We introduce an elastic net penalty class that applies to either model form, and additionally, this penalty can be used to shrink a non-ordinal model toward its ordinal counterpart. Finally, we introduce the R package <b>ordinalNet</b>, which implements the algorithm for this model class.

研究の動機と目的

• 一般的な統計ソフトウェアにおける順序尺度回帰モデルの正則化ツールの不足に対処すること。
• リッジ・ネット罰則を用いた、順序尺度および非順序尺度の多項回帰モデルを統合的に扱えるフレームワークの開発。
• 非平行モデルの係数を平行構造に近づけることで、モデルの安定性と解釈可能性を向上させる半平行パラメータ化の導入。
• 広範な利用可能性と再現可能性を実現するため、Rパッケージ ordinalNet として手法の実装。
• シミュレーションおよび実際の遺伝子発現データ解析を通じて、手法の性能を実証すること。

提案手法

• 累積オッズロジスティック、ストップリソジオ、継続比モデルなどの一般的な順序尺度回帰モデルを一般化する「要素リンク多項順序（ELMO）」モデルクラスを提案。
• 2つのパラメータ化形態を定義：平行（閾値間で係数を共有）と非平行（係数が閾値ごとに変化）の両方を、順序尺度および名目尺度の応答変数に適用可能。
• 非平行形を過剰にパラメータ化することで、非平行係数が平行構造に近づくようリッジ・ネット罰則を適用可能な半平行モデルを導入。
• 座標降下法を用いて、リッジ・ネット罰則付きのELMOモデルを効率的に適合させ、変数選択と係数の縮小を実現。
• lambda および alpha パrameterを用いた交差検証とモデルチューニングをサポートするRパッケージ ordinalNet として実装。
• リッジ（L2）とlasso（L1）正則化の両方の利点をバランスさせるため、リッジ・ネット罰則を用いることで、予測精度の向上と高次元予測変数の処理を実現。

実験結果

リサーチクエスチョン

• RQ1 リッジ・ネット正則化を用いて、順序尺度および非順序尺度の多項回帰モデルを統合的に適合できるアルゴリズムを開発できるか？
• RQ2 非平行係数を平行構造に近づける半平行モデルは、予測精度とモデルの解釈可能性を向上させるか？
• RQ3 異なるデータ構造下において、罰則付き平行モデル、非平行モデル、半平行モデルの予測精度（交差検証による外れ予測性能）を比較するとどうなるか？
• RQ4 本手法は、遺伝子発現データのような高次元の順序尺度回帰設定において、効果的な変数選択を可能にするか？
• RQ5 過剰パラメータ化にもかかわらず、半平行モデルの尤度関数は一意に特定可能か？

主な発見

• 真のデータ生成過程が非平行なシナリオでは、半平行モデルが平行モデルおよび非平行モデルを上回る予測精度を示した。
• 非比例オッズが強いシナリオでは非平行モデルが最良の予測性能を達成した一方、比例オッズの下では平行モデルが最も優れた性能を示した。
• シミュレーション研究により、半平行モデルは多様なデータ構造にわたって安定した妥当な性能を示し、包括的な妥協策であることが示された。
• GSE18081遺伝子発現データセットでは、ordinalNetが高精度な予測と意味のある変数選択を実現した遺伝子サブセットを特定した。
• 交差検証済み対数尤度が最も高かったのは半平行モデル（平均対数尤度 = -2.411）であり、平行モデル（平均 = -1.971）および非平行モデル（平均 = -2.217）を上回った。
• ordinalNetにおける座標降下法は、複数のlambdaおよびalpha値に対して解パスを効率的に計算し、最小限の計算コストで効果的なモデルチューニングを可能にした。