[論文レビュー] Multivariate Regression with Grossly Corrupted Observations: A Robust Approach and its Applications

Xiaowei Zhang, Chi Xu+3 more|arXiv (Cornell University)|Jan 11, 2017

Anomaly Detection Techniques and Applications参考文献 3被引用数 5

ひとこと要約

本稿では、$β_{2,1}$-ノルム損失とグループスパarsity正則化を用いて、同時に回帰係数とスパース誤差行列を推定することで、著しく汚染されたまたは欠損している観測を明示的にモデル化するロバストな多次元回帰フレームワークを提案する。この手法は、多ブロックプロキシマルADMMソルバを採用しており、グローバル収束を保証するとともに、合成データおよび実世界のデータ（SNSからのパーソナリティ予測やラベルノイズ下での3次元ハンドポーズ推定を含む）において優れた性能を発揮する。

ABSTRACT

This paper studies the problem of multivariate linear regression where a portion of the observations is grossly corrupted or is missing, and the magnitudes and locations of such occurrences are unknown in priori. To deal with this problem, we propose a new approach by explicitly consider the error source as well as its sparseness nature. An interesting property of our approach lies in its ability of allowing individual regression output elements or tasks to possess their unique noise levels. Moreover, despite working with a non-smooth optimization problem, our approach still guarantees to converge to its optimal solution. Experiments on synthetic data demonstrate the competitiveness of our approach compared with existing multivariate regression models. In addition, empirically our approach has been validated with very promising results on two exemplar real-world applications: The first concerns the prediction of extit{Big-Five} personality based on user behaviors at social network sites (SNSs), while the second is 3D human hand pose estimation from depth images. The implementation of our approach and comparison methods as well as the involved datasets are made publicly available in support of the open-source and reproducible research initiatives.

研究の動機と目的

• 観測の一部が場所も大きさも不明な状態で著しく汚染されているもしくは欠損している場合の多次元回帰を扱う。
• 異なる回帰タスクや出力変数間で不均一なノイズレベルをモデル化する。
• グローバルに収束し、効率的な非滑らか最適化フレームワークを開発する。
• 実世界の応用、特にラベル汚染を伴うもの（SNS行動からのパーソナリティ予測や深度画像からの3次元ハンドポーズ推定）における手法の妥当性を検証する。

提案手法

• 観測行列を $Y = XW^* + Z + G^*$ としてモデル化し、$G^*$ が著しい誤差や欠損エントリを捉える。
• タスク固有のノイズレベル適合を可能にするために $β_{2,1}$-ノルムを損失関数として使用する。
• タスク間で構造的特徴選択を促進するために、$W$ にグループスパarsity正則化 ($r_W(W)$) を適用する。
• 著しい誤差の検出と是正を可能にするために、$G$ にスパarsity誘導型 $\ell_1$-ノルム正則化 ($r_G(G)$) を使用する。
• 非滑らか最適化問題を解くために、多ブロックプロキシマルADMM（交替方向乗数法）を提案する。
• このソルバは、非滑らか成分を含んでもグローバルに収束し、効率的であることが証明されている。

実験結果

リサーチクエスチョン

• RQ1 多次元回帰モデルは、原理的かつ一括して回帰係数と著しく汚染されたまたは欠損している観測を推定できるか？
• RQ2 モデルは異なる出力変数やタスク間で変動するノイズレベルにどのように適応できるか？
• RQ3 提案されたADMMベースのソルバは、この非滑らか最適化問題に対してグローバルに収束し、効率的か？
• RQ4 ラベル汚染や欠損データが存在する状況において、他の既存モデルと比較して本手法の性能はいかがなものか？
• RQ5 本手法は、パーソナリティ予測や3次元ハンドポーズ推定のような複雑でノイズの多い実世界の応用に一般化可能か？

主な発見

• 合成データでは、CMRG手法がOMR、CMR、OMRG、DHand、AlexNetを常に上回り、欠損または汚染されたラベルの割合が増加するほど顕著な優位性を示した。
• パーソナリティ予測タスクでは、ノイズの多いSNSユーザー行動データから意味のあるパーソナリティ特徴を効果的に回復できた。
• 3次元ハンドポーズ推定においては、CMRGが全手法の中で最小の平均ジョイント誤差を達成し、特に真値アノテーションの20％～40％が欠損している状況で顕著な優位性を示した。
• 訓練データに40％の欠損エントリが存在しても、本手法はロバストな性能を維持したが、他のモデルは顕著な性能低下を示した。
• CNN特徴との統合により、標準的なディープラーニングベースラインを上回る性能が得られたことから、本手法とディープ表現との間には強い相乗効果があると考えられる。
• 提案された多ブロックプロキシマルADMMソルバはグローバル収束を示し、実行時間も効率的であったため、大規模問題への実用性が裏付けられた。