[論文レビュー] Subspace Embedding and Linear Regression with Orlicz Norm

Alexandr Andoni, Chengyu Lin+3 more|arXiv (Cornell University)|Jun 17, 2018

Sparse and Compressive Sensing Techniques被引用数 12

ひとこと要約

本稿では、$\beta$-ノルムとM推定量を一般化するOrliczノルムに対する新しい無自覚部分空間埋め込みを提案し、線形回帰および低ランク行列近似のための効率的な近似アルゴリズムを可能にする。この手法は、Orliczノルム回帰に対して$O(d\log^2 n)$-近似因子を達成し、$1 \leq p < 2$における$\ell_p$低ランク近似について既存の境界を改善する。新しい埋め込みにより、ノルム構造が低い歪みで保存される。

ABSTRACT

We consider a generalization of the classic linear regression problem to the case when the loss is an Orlicz norm. An Orlicz norm is parameterized by a non-negative convex function $G:\mathbb{R}_+ ightarrow\mathbb{R}_+$ with $G(0)=0$: the Orlicz norm of a vector $x\in\mathbb{R}^n$ is defined as $ \|x\|_G=\inf\left\{α&gt;0\large\mid\sum_{i=1}^n G(|x_i|/α)\leq 1 ight\}. $ We consider the cases where the function $G(\cdot)$ grows subquadratically. Our main result is based on a new oblivious embedding which embeds the column space of a given matrix $A\in\mathbb{R}^{n imes d}$ with Orlicz norm into a lower dimensional space with $\ell_2$ norm. Specifically, we show how to efficiently find an embedding matrix $S\in\mathbb{R}^{m imes n},m

研究の動機と目的

• Orliczノルムで定義された損失関数を用いた線形回帰問題を解くための汎用的なアルゴリズムフレームワークの開発。$\ell_1$、$\ell_2$、M推定量を一般化する。
• スケール依存の損失関数の限界を克服するため、スケール不変なOrliczノルムの定式化を導入する。
• 行列$A$の列空間を低次元空間に写像するが、Orliczノルム構造を有界な歪みで保存する新しい無自覚部分空間埋め込みを設計する。
• この埋め込み技術を用いて、$1 \leq p < 2$における$\ell_p$低ランク行列近似のための近似アルゴリズムを改善する。この問題は、ロバストなデータ解析においてますます重要性を増している。
• 合成データおよび実データ上で本手法の実験的妥当性を検証し、標準的な$\ell_1$、$\ell_2$、およびベースライン$\ell_p$手法と比較して優れた性能を示す。

提案手法

• 行列$A$の$Ax$（$x \in \mathbb{R}^d$）を写像する新しい無自覚部分空間埋め込み行列$S \in \mathbb{R}^{m \times n}$を提案。$\|Ax\|_G$が$\ell_2$ノルムで$O(d^2 \log n)$の歪み内で保存される。
• 凸かつ下二次関数である関数$G:\mathbb{R}_+ \to \mathbb{R}_+$（$G(0) = 0$）を用いて、Orliczノルム$\|x\|_G = \inf\{\alpha > 0 \mid \sum_{i=1}^n G(|x_i|/\alpha) \leq 1\}$を定義。これは$\ell_p$およびM推定量の損失を一般化する。
• Orliczノルムにおける測度集中を保証するため、$\|A_i\|_G^2 / \|A\|_G^2$に比例する確率で$A$の行をランダムにサンプリングする確率的スケッチングアプローチを用いて埋め込みを構築。
• 回帰問題$\min_x \|Ax - b\|_G$に埋め込みを適用し、$SAx \approx Sb$というより小さな$\ell_2$回帰問題に還元。近似保証が理論的に保証される。
• 埋め込みを用いて、$1 \leq p < 2$における$\ell_p$低ランク近似のための最先端の性能を向上。近似因子と実行時間を改善する。
• 二段階のアルゴリズムを採用：まず、Orlicz埋め込みでデータをスケッチ；次に、標準的な$\ell_2$ソルバーで低次元問題を解く。歪みの理論的境界は集中不等式を用いて導出される。

実験結果

リサーチクエスチョン

• RQ1 Orliczノルムに対する部分空間埋め込みを構築可能か。これは$\ell_2$および$\ell_p$埋め込みを一般化し、ロバストなM推定量損失の構造を保存する。
• RQ2 Orliczノルム部分空間埋め込みで達成可能な最適な歪み因子は何か。$d$および$\log n$に関して多項式的に有界にできるか。
• RQ3 提案された埋め込み技術を用いて、理論的近似因子が保証されるOrliczノルム回帰のための効率的近似アルゴリズムを設計可能か。
• RQ4 新しい埋め込みは、$1 \leq p < 2$における$\ell_p$低ランク行列近似の近似比および実行時間を、先行研究と比較して改善するか。
• RQ5 さまざまなノイズおよび外れ値の条件下で、Orliczノルム回帰の性能は$\ell_1$、$\ell_2$、$\ell_{1.5}$回帰と比較してどのように異なるか。

主な発見

• 提案された部分空間埋め込みは、Orliczノルムに対して$O(d^2 \log n)$の歪み因子を達成し、下界$\Omega(1/(d \log n))$と照らし合わせると、$d$および$n$に依存する点で近似的に最適であることが示された。
• Orliczノルム回帰問題に対して$O(d \log^2 n)$-近似因子を達成した。これは、一般の下二次関数型Orliczノルムに対して初めての結果である。
• 実験では、Huberに類似した関数$G_{\ell_{1.5}}$を用いたOrliczノルム回帰が、平均$\ell_2$誤差14.7を達成し、$\ell_1$（17.0）、$\ell_2$（909.8）、および他の$G$-ノルム変種と比較して顕著に優れた性能を示した。
• $\ell_1$低ランク近似において、合成データ上での相対$\ell_1$誤差が$1.04 \times 10^4$にまで低下し、Songら（2017）のベースライン$1.36 \times 10^4$および標準的PCAを上回った。
• 糖尿病データおよびガラスデータセットでは、それぞれ3.18秒および3.74秒で実行された。Songら（2017）の5.69秒および11.97秒を上回り、より良い誤差低減が達成された。
• 本手法は柔軟かつ汎用的である。$G$および$G^{-1}$が計算可能であれば、異なる$G$関数の容易な実験が可能であり、カスタムロバスト損失の設計を可能にする。