[論文レビュー] Nonconvex One-bit Single-label Multi-label Learning

Shuang Qiu, Tingjin Luo+2 more|arXiv (Cornell University)|Mar 17, 2017

Sparse and Compressive Sensing Techniques参考文献 20被引用数 3

ひとこと要約

本稿は、非凸な交互累乗反復アルゴリズムを提案し、異種のセンシングベクトルと符号関数リンク関数を伴うランク1行列センシング問題として定式化することで、1ビット単一ラベル多値ラーニングを扱う。この手法は線形収束を達成し、$ O(k^{1.5}d_1d_2/\epsilon) $ の近似的に最適なサンプリング複雑度を実現し、極めてラベルが少ない状況下で、最先端のサンプリング効率を顕著に改善する。

ABSTRACT

We study an extreme scenario in multi-label learning where each training instance is endowed with a single one-bit label out of multiple labels. We formulate this problem as a non-trivial special case of one-bit rank-one matrix sensing and develop an efficient non-convex algorithm based on alternating power iteration. The proposed algorithm is able to recover the underlying low-rank matrix model with linear convergence. For a rank-$k$ model with $d_1$ features and $d_2$ classes, the proposed algorithm achieves $O(ε)$ recovery error after retrieving $O(k^{1.5}d_1 d_2/ε)$ one-bit labels within $O(kd)$ memory. Our bound is nearly optimal in the order of $O(1/ε)$. This significantly improves the state-of-the-art sampling complexity of one-bit multi-label learning. We perform experiments to verify our theory and evaluate the performance of the proposed algorithm.

研究の動機と目的

• 多数のクラスから1つのバイナリラベルしか与えられない状況下で、低ランクの多値ラベルモデルを学習する課題に対処する。
• 1つのインスタンスに対して1つのラベルしか観測されない極度のラベル希少性下でも、保証された効率性を持つ1ビット多値ラーニングのアルゴリズムを開発する。
• 従来の凸的または対称的センシングに基づく手法の制限を克服し、非均一なセンシングベクトルと滑らかでない符号関数リンク関数を扱えるようにする。
• 高次元設定下で、潜在的な低ランク重み行列を回復する際に、近似的に最適なサンプリング複雑度と線形収束を達成する。
• ノイズありおよび完全観測設定下の合成データ上で、理論的保証を実験的に検証する。

提案手法

• 単一ラベル多値ラーニング問題を、非凸な1ビットランク1行列センシング問題として定式化し、非対称なセンシングを採用：左ベクトルはi.i.d.正規分布、右ベクトルはワンホットでサンプリングされる。
• 低ランク因子行列を推定するための交互累乗反復アルゴリズムを提案し、凸緩和を回避することで、計算を効率化する。
• ノイズを含む累乗反復を用いて推定系列を構築し、非凸性および非滑らか関数にもかかわらず収束解析を可能にする。
• 従来の研究で用いられる代替損失関数を避けて、直接符号関数（ハミング）損失をモデルに組み込む。
• 空間計算量を $ O(kd) $ に保ち、$ d = d_1 + d_2 $ として、$ d_1, d_2 $ が大きい場合でもスケーラブルである。
• 推定系列とサブガウス型集中を基盤とした理論的解析を適用し、線形収束および回復誤差の上限を確立する。

実験結果

リサーチクエスチョン

• RQ1 非凸なアルゴリズムは、非均一なセンシングベクトルを伴う1ビット単一ラベル多値ラーニングにおいて、線形収束を達成できるか？
• RQ2 1ビットラベル観測下で、低ランク重み行列を回復するのに必要な最適なサンプリング複雑度は何か？
• RQ3 従来の手法と比較して、ノイズありまたは敵対的ラベル摂動下での本手法の性能はいかがなっているか？
• RQ4 本手法は、同等またはより優れた性能を示すように、完全観測多値ラーニング設定に拡張可能か？
• RQ5 この極めてラベルが少ない状況下で、符号関数損失関数の使用が、凸代替損失関数よりも優れた一般化性能を実現できるか？

主な発見

• 本手法は、$ O(k^{1.5}d_1d_2/\epsilon) $ 個の1ビットラベルを取得した後、$ O(\epsilon) $ の回復誤差を達成し、$ O(1/\epsilon) $ のオーダーでほぼ最適である。
• アルゴリズムは線形収束を示し、$ O(kd) $ のメモリで動作するため、高次元の特徴空間およびクラス空間にスケーラブルである。
• 実験では、ノイズあり全設定下で、予測誤差およびAUCの両面でLEMLを上回る性能を示した。特に、敵対的ノイズおよびランダム摂動下でも同様の結果を得た。
• 合成完全観測データセット上では、最大のデータセットで平均AUCが98.15を達成し、LEML、SVM、LRT、SMTを含むすべてのベースラインを上回った。
• ノイズレベル（$ \xi = 0.1, 0.2, 0.3 $）およびラベル希少性（$ p = 1\%, 2.5\%, 5\% $）の変動下でも、LEMLを一貫して上回る性能を維持した。
• 理論的解析により、非凸性および非滑らか性にもかかわらず、グローバル収束が保証された。これにより、従来の凸的または対称的センシングフレームワークの制限を克服した。