[論文レビュー] Dimensionality Reduction for Tukey Regression

Kenneth L. Clarkson, Ruosong Wang+1 more|arXiv (Cornell University)|May 14, 2019

Face and Expression Recognition参考文献 29被引用数 4

ひとこと要約

本稿では、大規模な問題をより小さな重み付きインスタンスに縮小するための、最初の次元削減手法を、行サンプリングとオーバーサンプリングスケッチを用いて提案する。$(1+\varepsilon)$-近似解を$\widetilde{O}(\operatorname{nnz}(A) + \operatorname{poly}(d\log n/\varepsilon))$時間で得られ、理論的保証と合成および実世界のデータセットにおける実証的検証を併せ持つ。

ABSTRACT

We give the first dimensionality reduction methods for the overconstrained Tukey regression problem. The Tukey loss function $\|y\|_M = \sum_i M(y_i)$ has $M(y_i) \approx |y_i|^p$ for residual errors $y_i$ smaller than a prescribed threshold $τ$, but $M(y_i)$ becomes constant for errors $|y_i| > τ$. Our results depend on a new structural result, proven constructively, showing that for any $d$-dimensional subspace $L \subset \mathbb{R}^n$, there is a fixed bounded-size subset of coordinates containing, for every $y \in L$, all the large coordinates, with respect to the Tukey loss function, of $y$. Our methods reduce a given Tukey regression problem to a smaller weighted version, whose solution is a provably good approximate solution to the original problem. Our reductions are fast, simple and easy to implement, and we give empirical results demonstrating their practicality, using existing heuristic solvers for the small versions. We also give exponential-time algorithms giving provably good solutions, and hardness results suggesting that a significant speedup in the worst case is unlikely.

研究の動機と目的

• 非凸かつ有界な損失関数を用いるロバスト回帰の一種であるTukey回帰における、効率的な次元削減手法の不足に取り組む。
• 大規模なTukey回帰問題をより小さな、取り扱いやすいインスタンスに縮小する実用的かつ理論的に正確な手法を開発する。
• 行サンプリングとオーバーサンプリングスケッチの両方のアプローチに対して理論的保証を提供し、それぞれ$(1+\varepsilon)$-近似と$O(\log n)$-近似を保証する。
• 合成および実データセットを用いた実証的評価を通じて、手法の実用性を示し、外れ値に対してロバストな性能を示す。

提案手法

• Tukey損失下での残差レバレッジスコアに基づき重み付き行のサブセットを選択する行サンプリングアルゴリズムを提案し、元のTukey回帰問題に対して$(1+\varepsilon)$-近似解を保証する。
• 任意の$d$次元部分空間において、Tukey損失下で大きな残差をすべて捉えることのできる、有界サイズの座標集合が存在することを示す構造的定理を導出する。これにより、効率的なサンプリングが可能になる。
• 任意の$A$および$b$に依存しないスケッチ行列$S$を用い、$\operatorname{poly}(d\log n)$行を有し、$O(\operatorname{nnz}(A))$時間で計算可能であり、$O(\log n)$-近似解を生成する。
• 重み付きTukey回帰を扱えるように既存のIRLSソルバーを変更することで、縮小されたインスタンスへの実用的導入を可能にする。
• 非ゼロ重み数が$\operatorname{poly}(d\log n/\varepsilon)$であるような、$\widetilde{O}(\operatorname{nnz}(A) + \operatorname{poly}(d\log n/\varepsilon))$時間で実行されるアルゴリズムを設計する。
• スケッチ行列$S$が$A$および$b$に依存しないようにし、ストリーミングおよび分散環境に適したシングルパス処理を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非凸的かつ有界な損失関数を用いるTukey回帰問題に、次元削減が効果的に適用可能かどうか。
• RQ2 Tukey損失のどのような構造的性質が、任意の$d$次元部分空間において、すべての大規模な残差を捉えることのできる、固定サイズの座標集合の特定を可能にするか。
• RQ3 行サンプリングとオーバーサンプリングスケッチの両方が、理論的保証付きの近似解を得るために、Tukey回帰問題をより小さな問題に縮小するのに使用可能かどうか。
• RQ4 提案手法は、実世界および合成データセットにおいて、外れ値の存在下でも実用的にどれほど性能を発揮するか。
• RQ5 $O(d)$行のみを用いて、効率的かつ近似的最適な解を得ることは可能か。近似品質と計算効率のトレードオフは何か。

主な発見

• 行サンプリングアルゴリズムは、$\widetilde{O}(\operatorname{nnz}(A) + \operatorname{poly}(d\log n/\varepsilon))$時間で、元のTukey回帰問題に対して$(1+\varepsilon)$-近似解を達成する。
• オーバーサンプリングスケッチアプローチは、$\operatorname{poly}(d\log n)$行と$O(\operatorname{nnz}(A))$の計算時間で$O(\log n)$-近似解を生成する。このアプローチは入力データに依存せず、独立している。
• 実証的結果では、行サンプリング法が問題のサイズを$3d$行にまで縮小しながら、ほとんどのデータセットで近似比が2未満を維持している。
• 行サンプリング法は、特にスケッチサイズが大きい場合に、オーバーサンプリングスケッチ法よりも近似品質が優れている。一方、スケッチ法は高速でストリーミング処理に適している。
• Facebook Comment Volume、Appliances Energy Prediction、CT Slice Localizationといった実データセットに対しても、手法は実用的かつ効果的であり、$b$の$5\%$のエントリが外れ値として汚染されている場合でも性能を維持している。
• 難易度に関する結果から、Tukey回帰における顕著な最悪ケースの高速化はおそらく不可能であり、提案された近似保証の最適性が示唆されている。