[論文レビュー] Wasserstein regularization for sparse multi-task regression

Hicham Janati, Marco Cuturi+1 more|arXiv (Cornell University)|May 20, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用数 14

ひとこと要約

本稿では、非平衡最適輸送を用いて回帰係数間の幾何的構造を活用することで、重複するサポートを仮定しないスパースなマルチタスク回帰のための凸正則化子であるMulti-task Wasserstein（MTW）を提案する。Sinkhorn正則化最適輸送と近接座標降下法を組み合わせることで、合成データおよび神経画像データにおいて、既存の最先端手法を上回る真のサポート回復性能を達成する。特に、サポートが完全に重複しない、または部分的に重複する状況において顕著な優位性を示す。

ABSTRACT

We focus in this paper on high-dimensional regression problems where each regressor can be associated to a location in a physical space, or more generally a generic geometric space. Such problems often employ sparse priors, which promote models using a small subset of regressors. To increase statistical power, the so-called multi-task techniques were proposed, which consist in the simultaneous estimation of several related models. Combined with sparsity assumptions, it lead to models enforcing the active regressors to be shared across models, thanks to, for instance L1 / Lq norms. We argue in this paper that these techniques fail to leverage the spatial information associated to regressors. Indeed, while sparse priors enforce that only a small subset of variables is used, the assumption that these regressors overlap across all tasks is overly simplistic given the spatial variability observed in real data. In this paper, we propose a convex regularizer for multi-task regression that encodes a more flexible geometry. Our regularizer is based on unbalanced optimal transport (OT) theory, and can take into account a prior geometric knowledge on the regressor variables, without necessarily requiring overlapping supports. We derive an efficient algorithm based on a regularized formulation of OT, which iterates through applications of Sinkhorn's algorithm along with coordinate descent iterations. The performance of our model is demonstrated on regular grids with both synthetic and real datasets as well as complex triangulated geometries of the cortex with an application in neuroimaging.

研究の動機と目的

• タスク間で活性特徴が完全に重複すると仮定する従来のマルチタスクLasso手法の制限を解消すること。これは、空間的構造を持つデータでは現実的でない場合が多い。
• 回帰係数のサポートを強制せずに、回帰子の位置（例：脳領域、気象観測所）からの幾何的情報をマルチタスク回帰に組み込むこと。
• 高次元でスパースなマルチタスク回帰問題における効率的な学習を可能にする、凸的かつスケーラブルな最適化フレームワークを開発すること。
• 特徴の近接性を最適輸送を用いてモデル化することで、標準的なスパarsity誘導正則化項と比較して、サポート回復および統計的性能が向上することを示すこと。

提案手法

• タスク間の係数ベクトルの類似性を測る新しい凸正則化子を提案し、非平衡最適輸送（OT）に基づく。これにより、回帰子間の幾何的関係が符号化される。
• 計算効率を確保するため、エントロピー正則化を施したOTの定式化を用い、Sinkhornアルゴリズムにより高速計算が可能となる。GPU加速も可能である。
• マルチタスク回帰問題の最適化を、Sinkhorn反復と近接座標降下法を交互に適用することで実現する。
• 物理的または幾何的構造（例：皮質メッシュの地図距離）に基づいた基準距離を、輸送コストの導出に用いる。
• グリッド構造から複雑な三角形メッシュ（例：ヒトの皮質）まで、空間的に分散した特徴をモデル化できる。
• 係数ベクトルから潜在的なバーリソン（barycenter）を導出し、コhort全体における最も代表的な特徴を特定する。

実験結果

リサーチクエスチョン

• RQ1 最適輸送を用いることで、活性特徴が共有されていない状況でも、マルチタスク学習における回帰係数間の幾何的関係をモデル化できるか？
• RQ2 Wassersteinに基づく正則化子は、従来のℓ1/ℓqノルムと比較して、スパースで非重複するサポートを回復する性能においてどのように優れるか？
• RQ3 幾何的構造を組み込むことで、サンプル数が限られた高次元回帰において、統計的パワーがどの程度向上するか？
• RQ4 提案手法は、皮質表面のような非ユークリッド的で複雑な幾何構造に対しても、効率的にスケーリング可能か？

主な発見

• MTWは、独立したLassoおよびマルチタスクLassoを著しく上回り、合成MEGデータ（50%の重複、1タスクあたり6非ゼロ特徴）においてAUCスコア0.92を達成した。
• 非重複サポートの状況では、MTWはAUC 0.91を達成した一方で、独立Lassoはわずか0.54にとどまり、空間的近接性を効果的に活用できることを示した。
• タスク数が増加するにつれてMTWは一貫した性能向上を示し、AUCは2タスクで0.78から8タスクで0.90に上昇した。これに対してDirtyモデルは性能が頭打ちになる。
• MTWが学習する潜在的バーリソンは、被験者全体における最も代表的な活性パターンを効果的に特定しており、神経画像応用において共通の特徴を強調している。
• S/N = 4の実際のMEGデータにおいて、MTWは30試行平均でAUC 0.88を達成し、すべての重複レベルでMLLおよびDirtyモデルを上回った。
• MTWはサポート重複度が20%にまで低下しても、依然として優れた性能を維持しており、重複度の変動に強く、優位性を保っている。