[論文レビュー] Linear Regression with Shuffled Labels

Abubakar Abid, Ada S. Y. Poon+1 more|arXiv (Cornell University)|May 3, 2017

Bayesian Methods and Mixture Models被引用数 47

ひとこと要約

本稿では、入力特徴量とラベルがもはやペairedされない「シャッフルラベル付き線形回帰」のためのフレームワークを提案する。自己モーメントを用いてラベルの順序を知らないままモデル重みを回復できる方法のモーメント推定法を導入する。主な貢献は、完全に順序が入れ替わったラベルに対しても一貫した推定が可能であることを示したことである。特に、複数回の反復実験が利用可能な場合に、フローサイトメトリー や匿名化された医療データなどの設定で頑健な推論が可能になる。

ABSTRACT

Is it possible to perform linear regression on datasets whose labels are shuffled with respect to the inputs? We explore this question by proposing several estimators that recover the weights of a noisy linear model from labels that are shuffled by an unknown permutation. We show that the analog of the classical least-squares estimator produces inconsistent estimates in this setting, and introduce an estimator based on the self-moments of the input features and labels. We study the regimes in which each estimator excels, and generalize the estimators to the setting where partial ordering information is available in the form of experiments replicated independently. The result is a framework that enables robust inference, as we demonstrate by experiments on both synthetic and standard datasets, where we are able to recover approximate weights using only shuffled labels. Our work demonstrates that linear regression in the absence of complete ordering information is possible and can be of practical interest, particularly in experiments that characterize populations of particles, such as flow cytometry.

研究の動機と目的

• 高スループットの生物学的・臨床的実験でよく見られる、特徴量とラベルの順序が入れ替わった状況において、線形回帰を実行する課題に対処すること。
• ラベルの順序情報が欠如している状況でも、線形モデル重みの一貫した推定が可能かどうかを調査すること。
• 複数の独立した反復が利用可能な場合に、意味のある重みをシャッフルされたデータから回復できる実用的なアルゴリズムを開発すること。
• 合成データ、標準データ、および実世界のデータ（アプタマー進化データを含む）を用いて、提案手法の実現可能性と正確性を示すこと。
• データ次元数、標本サイズ、反復数の変化に伴う推定器の統計的・アルゴリズム的性質を調査すること。

提案手法

• ラベルの順序を知らないまま、入力特徴量とラベルの自己モーメントを用いてモデル重みを推定する方法のモーメント（SM）推定法を提案する。
• 複数の反復における損失の合計を最小化する非凸最適化目的関数を定式化し、マルチスタート初期化を用いた勾配降下法を適用する。
• 高次元特徴量を低次元空間に射影した後、SM推定法を適用するハイブリッドP1推定法を導入し、高次元での性能向上を図る。
• 合成データおよび実データ（フローサイトメトリーを模したシミュレーションとアプタマー進化データを含む）にアルゴリズムを適用し、相対誤差と真の重みとの相関を指標に性能を評価する。
• 非凸最適化の損失関数の局所的最小値を回避するため、マルチスタート勾配降下法を用いる。
• 実験の反復を活用して推論誤差を低減し、各反復を同一の潜在的データ生成プロセスからの独立した標本とみなす。

実験結果

リサーチクエスチョン

• RQ1 ラベルと特徴量の順序が入れ替わった状況において、古典的最小二乗推定法がこの設定で一貫性を持たないにもかかわらず、線形回帰重みの一貫した推定が可能かどうか。
• RQ2 低次元設定（例：d=1）において、方法のモーメント推定法と古典的最小二乗推定法の統計的性質を比較するとどうなるか。
• RQ3 n、d、Rで定義されるどのデータ環境下でSM推定法がLS推定法を上回り、P1ハイブリッド推定法がより優れた性能を示すか。
• RQ4 同じ実験の複数回の反復が、シャッフル線形回帰における推論誤差をどの程度低減できるか。
• RQ5 提案フレームワークが、実世界の応用において高次元でシャッフルされたデータから生物学的に意味のある特徴（例：結合親和性と相関するモチーフ）を回復できるか。

主な発見

• 古典的最小二乗推定法はシャッフルデータに対して一貫性を持たないが、方法のモーメント（SM）推定法はd=1の場合に一貫性を持つ。
• d=1およびd=2の設定では、複数の合成データおよび標準データセットにおいて、SM推定法が一貫して最小の推論誤差を達成する。
• 高次元では、SM推定法を適用する前に特徴量を低次元空間に射影するP1ハイブリッド推定法が、LS推定法およびSM推定法単体よりも優れた性能を示す。
• わずか2〜4回の反復でも、大多数のデータセットで重み推定の相対誤差が20%以下に低下し、R=8では誤差がしばしば20%未満にまで低下する。
• パワープラントデータセットでは、相対誤差が反復間で一定であったため、データが線形モデルに従わない可能性が示唆され、誤った順序に過剰適合している可能性がある。
• アプタマー進化の事例研究では、結合親和性の増加と相関する上位5つのモチーフのうち3つを回復し、結合親和性の減少と相関する上位5つのモチーフすべてを回復した。これは、高次元設定においても定性的な有用性が示された。