[논문 리뷰] Learning from Delayed Outcomes via Proxies with Applications to Recommender Systems

Timothy Mann, Sven Gowal외 5명|arXiv (Cornell University)|2018. 07. 24.

Recommender Systems and Techniques인용 수 5

한 줄 요약

이 논문은 추천 시스템에서 지연된 결과 학습을 향상시키기 위해 덜 지연된 대체 지표(예: 전자책의 부분적인 읽기)를 활용하는 신경망 프레임워크인 잔차 인자 예측기(Residual Factored Forecaster, RFF)를 제안한다. 예측을 대체 지표 단계와 결과 단계로 인과적으로 분해함으로써 RFF는 위험도 스케일링을 D×N에서 D+N으로 감소시켜 직접 예측기와 표준 인자 모델을 모두 능가한다. 특히 대체 지표가 정보가 적을 경우 두드러진 성능 향상을 보인다.

ABSTRACT

Predicting delayed outcomes is an important problem in recommender systems (e.g., if customers will finish reading an ebook). We formalize the problem as an adversarial, delayed online learning problem and consider how a proxy for the delayed outcome (e.g., if customers read a third of the book in 24 hours) can help minimize regret, even though the proxy is not available when making a prediction. Motivated by our regret analysis, we propose two neural network architectures: Factored Forecaster (FF) which is ideal if the proxy is informative of the outcome in hindsight, and Residual Factored Forecaster (RFF) that is robust to a non-informative proxy. Experiments on two real-world datasets for predicting human behavior show that RFF outperforms both FF and a direct forecaster that does not make use of the proxy. Our results suggest that exploiting proxies by factorization is a promising way to mitigate the impact of long delays in human-behavior prediction tasks.

연구 동기 및 목표

• 온라인 추천 시스템에서 피드백이 수주 또는 수개월이 걸릴 수 있는 지연된 결과로부터 학습하는 데 도전하는 것.
• 중간 단계의 대체 신호가 있는 악성 지연된 온라인 학습 설정으로 문제를 수식화하는 것.
• 최종 결과를 기다리지 않고도 대체 지표를 활용해 위험도를 줄이고 학습 속도를 높이는 신경망 아키텍처를 설계하는 것.
• 대체 지표가 약한 정보를 제공할 경우에도 대체 지표 기반 인자화가 직접 예측보다 성능 향상을 이끌 수 있는지 평가하는 것.

제안 방법

• 결과가 지연되고 덜 지연된 대체 지표가 존재하는 전면 정보 온라인 학습 문제로 문제를 수식화하며, 대체 지표는 결과와 확률적으로 연결된다.
• 입력 특징에서 대체 지표를 먼저 예측하고, 그 대체 지표에서 결과를 예측하는 두 단계 인자 예측기(FF)를 제안한다.
• 틀린 대체 지표-결과 가정으로 인한 오차를 보완하기 위해 잔차 보정 항목을 추가한 잔차 인자 예측기(RFF)를 도입한다.
• 신경망을 사용해 FF와 RFF를 구현하며, 대체 지표 헤드는 초기 대체 지표 신호로, 결과 헤드는 지연된 결과로 훈련한다.
• 인자화 가정 하에, 대체 지표 기반 인자화가 위험도 스케일링을 D×N에서 D+N으로 감소시킴을 분석하여 이론적 근거를 제시한다.
• 대체 지표와 결과 예측을 위한 비지연 데이터로 모델을 훈련하며, 조기 정지와 학습률 스케줄링을 적용한다.

실험 결과

연구 질문

• RQ1 덜 지연된 대체 지표를 활용하면 지연된 결과가 있는 온라인 학습에서 위험도를 크게 줄일 수 있는가?
• RQ2 대체 지표가 정보가 많을 경우, 대체 지표 기반 학습의 성능은 직접 예측과 비교해 어떻게 되는가?
• RQ3 대체 지표가 최종 결과를 잘 반영하지 못할 경우, 잔차 보정 메커니즘이 안정성을 향상시킬 수 있는가?
• RQ4 대체 지표 기반 학습의 위험도는 지연 시간(D)과 인스턴스 수(N)와 함께 유리하게 스케일링되는가?

주요 결과

• RFF는 GitHub 커밋 예측 및 마켓플레이스 참여도와 같은 두 개의 실세계 데이터셋에서 직접 예측기(DF)와 표준 인자 예측기(FF)를 모두 능가한다.
• 스태거드 스케줄(Instance 분포가 급격히 변화하는 경우)에서는 RFF와 FF가 DF를 능가하며, 대체 지표 기반 일반화의 이점을 보여준다.
• 유니폼 스케줄(인자화 가정이 위반되는 경우)에서는 RFF가 DF 성능을 그대로 유지하며, 정보가 부족한 대체 지표에 대한 강건성을 입증한다.
• 인자화 방법의 위험도는 D+N으로 스케일링되는 반면, 직접 방법은 D×N으로 스케일링됨을 확인하여, 인자화 가정 하에 이론적 우수성을 입증한다.
• RFF의 잔차 타워는 잘못된 대체 지표-결과 관계로 인한 오차를 효과적으로 보완하여, 대체 지표가 약할 경우에도 유연한 성능 저하를 가능하게 한다.