[論文レビュー] Sparse Bilinear Logistic Regression

Shi, Jianing V., Yangyang Xu+1 more|arXiv (Cornell University)|Apr 15, 2014

Sparse and Compressive Sensing Techniques参考文献 41被引用数 20

ひとこと要約

本稿では、重み行列の低ランク因子分解を用いて行列型の説明変数をモデル化することで、特徴選択と一般化性能の向上を実現するスパースな双線形ロジスティック回帰を提案する。ブロック座標降下と近接更新を用いたスパース誘導正則化とを組み合わせることで、グローバル収束を達成し、コンピュータビジョン、EEGを用いた脳-コンピュータインターフェース、スタイル/コンテンツ要因分解のタスクにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

In this paper, we introduce the concept of sparse bilinear logistic regression for decision problems involving explanatory variables that are two-dimensional matrices. Such problems are common in computer vision, brain-computer interfaces, style/content factorization, and parallel factor analysis. The underlying optimization problem is bi-convex; we study its solution and develop an efficient algorithm based on block coordinate descent. We provide a theoretical guarantee for global convergence and estimate the asymptotical convergence rate using the Kurdyka-Łojasiewicz inequality. A range of experiments with simulated and real data demonstrate that sparse bilinear logistic regression outperforms current techniques in several important applications.

研究の動機と目的

• 画像、動画フレーム、EEG信号など、2次元行列型の説明変数を有する分類問題に対処すること。
• スパースなロジスティック回帰を、行列構造を保ちつつ次元削減を可能にする双線形モデルに拡張すること。
• 二重凸性を持つ問題であるにもかかわらず、グローバル収束を保証する効率的な最適化アルゴリズムを開発すること。
• 双線形モデルの空間的および時間的要因におけるスパース性を促進することで、解釈可能性と特徴選択を向上させること。
• 実世界の応用において、標準的ロジスティック回帰および正則化なしの双線形モデルと比較して、本手法の優位性を実証的に検証すること。

提案手法

• スパースな双線形ロジスティック回帰問題を、核ノルムと因子行列へのスパース誘導正則化を伴う対数尤度損失の最小化として定式化する。
• 標準的な交互最小化よりも収束を加速させるために、近接更新を用いたブロック座標降下を用いる。
• グローバル収束の確立および漸近的収束速度の推定に、Kurdyka-Łojasiewicz不等式を適用する。
• 意思決定境界を、UとVの学習された空間的および時間的要因から成る低ランク重み行列W = UV^Tとして表現する。
• 因子行列の最適化をデカップリングしつつも双線形構造を維持するための変分的定式化を実装する。
• 複数のクラス固有の因子行列への双線形形態の拡張により、多クラス分類への一般化を図る。

実験結果

リサーチクエスチョン

• RQ1 スパース性は、行列値データの一般化性能と特徴選択を向上させるために、双線形ロジスティック回帰に効果的に組み込まれるか？
• RQ2 近接更新を用いた提案されたブロック座標降下は、二重凸なスパースな双線形モデルに対してグローバル収束を保証するか？
• RQ3 アルゴリズムの漸近的収束速度はどのように振る舞い、Kurdyka-Łojasiewicz不等式を用いて理論的に上限を定められるか？
• RQ4 どのような応用分野で、スパースな双線形ロジスティック回帰は、標準的ロジスティック回帰および正則化なしの双線形モデルを上回るか？
• RQ5 スパース性を伴う双線形因子分解は、スタイル/コンテンツ分離やEEGベースの分類といったタスクにおいて、より優れた解釈可能性と性能を促進できるか？

主な発見

• 提案されたアルゴリズムはグローバル収束を達成し、Kurdyka-Łojasiewicz不等式を用いて理論的収束速度の推定値を提供する。
• スパースな双線形ロジスティック回帰は、シミュレーションおよび実世界の分類タスクにおいて、標準的ロジスティック回帰および正則化なしの双線形モデルを上回る。
• EEGベースの脳-コンピュータインターフェースにおいて、行列構造のデータが一般的な状況で、一般化性能の向上が見られる。
• 実証的結果から、因子行列のスパース性が、より優れた特徴選択とモデルの解釈可能性をもたらすことが示された。
• 多クラス分類への拡張が、行列入力を持つ多クラス分類に成功して一般化された。
• 実験により、本手法はPCAに基づく次元削減および標準的SVMよりも、双線形特徴空間で優れた性能を発揮することが示された。