[논문 리뷰] Uncoupled Regression from Pairwise Comparison Data

Liyuan Xu, Junya Honda외 2명|arXiv (Cornell University)|2019. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 진짜 목표 함수에 대한 강력한 가정이 필요 없이, 레이블이 없는 샘플 간의 상대적 목표 값만 알려진 쌍별 비교 데이터를 활용하여 회귀 모델을 훈련하는 새로운 분리된 회귀 프레임워크를 제안한다. 이 방법은 균일한 목표 분포 하에서 최적의 파arametric 수렴 속도를 달성하며, 레이블이 익명화된 경우조차 선형 모델에서 지도 학습 성능을 재현한다.

ABSTRACT

Uncoupled regression is the problem to learn a model from unlabeled data and the set of target values while the correspondence between them is unknown. Such a situation arises in predicting anonymized targets that involve sensitive information, e.g., one's annual income. Since existing methods for uncoupled regression often require strong assumptions on the true target function, and thus, their range of applications is limited, we introduce a novel framework that does not require such assumptions in this paper. Our key idea is to utilize \emph{pairwise comparison data, which consists of pairs of unlabeled data that we know which one has a larger target value. Such pairwise comparison data is easy to collect, as typically discussed in the learning-to-rank scenario, and does not break the anonymity of data. We propose two practical methods for uncoupled regression from pairwise comparison data and show that the learned regression model converges to the optimal model with the optimal parametric convergence rate when the target variable distributes uniformly. Moreover, we empirically show that for linear models the proposed methods are comparable to ordinary supervised regression with labeled data.

연구 동기 및 목표

• 기존의 분리된 회귀 방법이 목표 함수에 대해 강력한 가정에 의존하는 한계를 해결하기 위해.
• 레이블이 익명화된 데이터와 상대적 비교(예: 어느 샘플이 더 높은 목표 값을 가졌는지)만 제공되는 상황에서도 회귀 학습을 가능하게 하기 위해.
• 입력과 목표 간의 대응 관계가 없이도 정확한 회귀 모델을 복원할 수 있는 실용적인 프레임워크를 개발하기 위해.
• 특히 균일한 목표 분포를 전제로 한 가벼운 분포 가정 하에서 이론적 수렴 보장을 확립하기 위해.
• 제안된 방법이 선형 모델 설정에서 표준 지도 학습 회귀와 비교해 유사한 성능을 보임을 경험적으로 검증하기 위해.

제안 방법

• 각 예시가 두 개의 레이블이 없는 샘플과 그 중 어느 쪽이 더 높은 목표 값을 가졌는지 나타내는 레이블로 구성된 쌍별 비교 데이터를 사용한다.
• 상대적 선호도에서 잠재적인 회귀 함수를 추론하는 랭킹 기반 최적화 문제로 학습 문제를 공식화한다.
• 실용적인 알고리즘 두 가지를 제안한다: 하나는 쌍별 비교에 대한 서로서의 손실을 최소화하는 방식이며, 다른 하나는 잠재 변수 모델링을 사용하는 구조적 예측 접근 방식이다.
• 이론적 분석을 통해 목표 변수가 균일하게 분포되어 있을 경우 최적의 파arametric 수렴 속도로 최적의 모델에 수렴함을 보여준다.
• 입력과 목표 간의 명시적 대응 관계를 회피함으로써 데이터 익명성을 유지하면서도 학습 효율성을 유지한다.
• 분포 가정에 대해 강건하고, 상대적 피드백만으로도 대규모 데이터셋에 대해 확장 가능한 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 목표 함수의 특정 형태를 가정하지 않고도 쌍별 비교 데이터만으로 분리된 회귀를 효과적으로 수행할 수 있는가?
• RQ2 목표 변수가 균일하게 분포되어 있을 때, 쌍별 비교 데이터로 훈련된 회귀 모델에 대해 어떤 이론적 수렴 보장을 확보할 수 있는가?
• RQ3 레이블이 완전히 제공되는 경우, 제안된 방법의 성능은 표준 지도 학습 회귀와 어떻게 비교되는가?
• RQ4 레이벨이 없는 목표 값이 필요 없이도 선형 모델에 대해 잘 일반화될 수 있는가?
• RQ5 특히 목표 변수의 균일성 여부가 학습된 모델의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 목표 변수가 균일하게 분포되어 있을 경우, 제안된 방법이 최적의 파arametric 수렴 속도를 달성한다.
• 선형 모델의 경우, 제안된 방법의 성능은 완전히 레이블이 부여된 데이터로 훈련된 일반적인 최소 제곱 회귀와 경험적으로 유사하다.
• 입력과 목표 간의 대응 관계가 없이도 회귀 함수를 효과적으로 학습하여 데이터 프라이버시를 유지한다.
• 가벼운 가정 하에서 쌍별 비교 데이터만으로도 정확한 회귀 모델을 복원할 수 있으며, 이는 분리된 회귀의 적용 가능성을 크게 넓힌다.
• 진짜 목표 함수가 알려져 있거나 복잡한 경우에도 강건하고 잘 일반화되는 성능을 보인다.
• 이론적 분석을 통해 주어진 가정 하에서 최적의 해로 수렴하는 속도가 가장 빠르다는 것이 확인된다.