[論文レビュー] Uncoupled Regression from Pairwise Comparison Data

Liyuan Xu, Junya Honda+2 more|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning被引用数 3

ひとこと要約

本論文は、ラベルのないサンプル同士の相対的ターゲット値（例：どちらのサンプルのターゲット値が高いか）が分かっているペアワイズ比較データを活用して、真のターゲット関数に関する強い仮定を必要とせずに回帰モデルを学習する、新しい非結合型回帰フレームワークを提案する。この手法は、ターゲット変数が一様分布に従う場合に最適なパラメトリック収束レートを達成し、ラベルが匿名化された状態でも、線形モデルにおいて教師あり学習と同等の性能を示す。

ABSTRACT

Uncoupled regression is the problem to learn a model from unlabeled data and the set of target values while the correspondence between them is unknown. Such a situation arises in predicting anonymized targets that involve sensitive information, e.g., one's annual income. Since existing methods for uncoupled regression often require strong assumptions on the true target function, and thus, their range of applications is limited, we introduce a novel framework that does not require such assumptions in this paper. Our key idea is to utilize \emph{pairwise comparison data, which consists of pairs of unlabeled data that we know which one has a larger target value. Such pairwise comparison data is easy to collect, as typically discussed in the learning-to-rank scenario, and does not break the anonymity of data. We propose two practical methods for uncoupled regression from pairwise comparison data and show that the learned regression model converges to the optimal model with the optimal parametric convergence rate when the target variable distributes uniformly. Moreover, we empirically show that for linear models the proposed methods are comparable to ordinary supervised regression with labeled data.

研究の動機と目的

• 回帰関数に関する強い仮定に依存する既存の非結合型回帰手法の限界を解消すること。
• ラベルのないデータと相対的比較（例：どのサンプルのターゲット値が高いか）しか入手できない状況でも回帰学習を可能にすること。
• 入力とターゲットの対応関係がなくても、ペアワイズ比較データを用いて正確な回帰モデルを回復できる実用的フレームワークを開発すること。
• 特にターゲット変数が一様分布に従うという弱い分布仮定のもとで、理論的収束保証を確立すること。
• 提案手法が線形モデル設定において、標準的な教師あり回帰と同等に性能を示すことを経験的に検証すること。

提案手法

• 各例がラベルのないサンプルのペアと、そのうちどちらのターゲット値が高いかを示すラベルからなるペアワイズ比較データをフレームワークが使用する。
• 相対的好みから潜在的な回帰関数を推定するランキングベースの最適化問題として学習問題を定式化する。
• 実用的な2つのアルゴリズムを提案：1つはペアワイズ比較における代替損失の最小化に基づくもので、もう1つは潜在変数モデリングを用いた構造的予測アプローチである。
• 理論的分析により、ターゲット変数が一様分布に従う場合、最適なパラメトリックレートで最適モデルに収束することが示された。
• 入力とターゲットの明示的対応関係を避けることで、データの匿名性を保ちながらも学習効率を維持する。
• 分布仮定に対してロバストで、相対的フィードバックのみで大規模データセットにもスケーラブルなアプローチである。

実験結果

リサーチクエスチョン

• RQ1 回帰関数の具体的な形を仮定せずに、ペアワイズ比較データのみを用いて非結合型回帰を効果的に行うことができるか？
• RQ2 ターゲット変数が一様分布に従う場合、ペアワイズ比較データに基づいて学習された回帰モデルに対して、どのような理論的収束保証を確立できるか？
• RQ3 ラベルが完全に利用可能である状況において、提案手法の性能は標準的な教師あり回帰と比べてどうか？
• RQ4 ラベル付きターゲット値が一切不要な状況でも、線形モデルに適応してうまく一般化できるか？
• RQ5 特にターゲット変数の分布、特に一様性が、学習済みモデルの収束レートに与える影響は何か？

主な発見

• ターゲット変数が一様分布に従う場合、提案手法は回帰モデルに対して最適なパラメトリック収束レートを達成する。
• 線形モデルにおいて、提案手法の性能は、完全にラベル付きデータで学習した通常の最小二乗回帰と経験的に同等である。
• 入力とターゲットの対応関係がなくても、フレームワークは回帰関数を効果的に学習でき、データプライバシーを保全する。
• 弱い仮定のもとで、ペアワイズ比較データのみで正確な回帰モデルを回復することが可能であり、非結合型回帰の応用範囲を著しく拡大する。
• 真のターゲット関数が未知または複雑であっても、強い汎化性とロバスト性を示す。
• 理論的分析により、与えられた仮定のもとで、モデルが最速の可能なレートで最適解に収束することが確認された。