[論文レビュー] Low-Rank Boolean Matrix Approximation by Integer Programming

Réka Á. Kovács, Oktay Günlük+1 more|arXiv (Cornell University)|Mar 13, 2018

Sparse and Compressive Sensing Techniques参考文献 13被引用数 3

ひとこと要約

本稿では、多項式スケールの変数および制約を有する最初の混合整数プログラミング（MIP）定式化を提案し、現実的な問題サイズにおいて正確な解を得ることを可能にする。この手法は、前処理および対称性削減を用いた整数プログラミングを採用し、SPECT、Primary Tumor、U.S. Congressional Voting Recordsを含む合成および実世界のデータセットにおいて、高品質な近似を達成する。

ABSTRACT

Low-rank approximations of data matrices are an important dimensionality reduction tool in machine learning and regression analysis. We consider the case of categorical variables, where it can be formulated as the problem of finding low-rank approximations to Boolean matrices. In this paper we give what is to the best of our knowledge the first integer programming formulation that relies on only polynomially many variables and constraints, we discuss how to solve it computationally and report numerical tests on synthetic and real-world data.

研究の動機と目的

• 低ランクブール型行列近似の正確で計算的に実行可能な手法の開発。この問題はNP困難であり、通常はヒューリスティクスで解かれる。
• 変数および制約の数が多項式スケールに留まる混合整数計画問題（MIP）として、ブール型行列近似問題を定式化し、商用ソルバを用いた効率的解法を可能にする。
• 従来はヒューリスティクス近似手法でのみアクセス可能であった実世界のデータセットに対して、正確な解を可能にする。
• すべてのゼロ行・ゼロ列の削除および重複行・重複列の処理を含む前処理ステップを導入し、目的関数の同等性を保持する。
• 合成および実世界のデータセットにおいて、定量的な誤差および実行時間の評価を通じて、本手法の有効性を示す。

提案手法

• 二値変数を用いた因子行列 $ C \in \{0,1\}^{n \times k} $ および $ R \in \{0,1\}^{k \times m} $ を用いて、ブール型行列近似問題を混合整数プログラミング（MIP）として定式化する。
• 目的関数を近似誤差のフロベニウスノルムの二乗 $ \|X - C \circ R\|_F^2 $ の最小化と定義する。ここで $ \circ $ はブール行列乗算を表す。
• 指数的増加を回避する多項式スケールのMIP定式化を採用し、現実的な問題サイズへのスケーラビリティを実現する。
• 前処理を適用：すべてのゼロ行・ゼロ列を削除し、重複は $ \alpha_i \beta_j $ による目的関数のスケーリングにより処理する。ここで $ \alpha_i $ および $ \beta_j $ は繰り返し回数を表す。
• CPLEXによるMIP解法中に計算効率を向上させるために、対称性削減および変数固定を活用する。
• 標準的なハードウェア上で商用最適化ソフトウェア（CPLEX）を用いてMIPを解き、大規模インスタンスには2時間の時間制限を設ける。

実験結果

リサーチクエスチョン

• RQ1 低ランクブール型行列近似の正確な整数プログラミング定式化を、変数および制約の数が多項式スケールに留まるように構築できるか？
• RQ2 実世界のデータにおいて、提案されたMIP定式化は、既存のヒューリスティクス手法と比較して、解の品質および計算効率の点で優れているか？
• RQ3 すべてのゼロ行・ゼロ列の削除および重複の処理といった前処理ステップは、MIPアプローチのスケーラビリティおよびパフォーマンスをどの程度向上させるか？
• RQ4 線形代数的ランクがブールランクと異なる場合に、MIP定式化は、既存のヒューリスティクス手法よりも優れた、あるいはより解釈可能な因子分解をもたらすか？
• RQ5 MIPアプローチは、実用的な時間制限内で実世界のブール型行列近似問題を最適解または近似最適解にまで解けるか？

主な発見

• 提案されたMIP定式化は、現実的な問題サイズにおいて低ランクブール型行列近似の正確な解を可能にする、変数および制約の数が多項式スケールに留まる最初の定式化である。
• 正確なブールランクが5で特徴量が20の合成データにおいて、前処理を施した改善版定式化は、フルモデルと比較して平均解法時間を顕著に短縮した。
• ノイズを含む合成データでは、ノイズレベルが高くなるほど問題の複雑さが増したが、次元削減により前処理がこれを緩和した。
• SPECT（267×22）、Primary Tumor（339×24）、U.S. Congress（435×32）を含む実世界のデータセットにおいて、ランク5近似では、最適解でない場合でも、少なくとも80％のデータ再構成精度を達成した。
• 近似誤差曲線は、部分最適解のため非単調的であったが、最適解ではランク $ k $ の増加に伴い誤差が減少する傾向があると考えられる。
• 解の品質において、先行するヒューリスティクスを上回り、解釈可能な因子分解を提供する。特に、コングレッシング投票データセットにおいて、ブールランクが明確な投票役割を明らかにした。