[논문 리뷰] Using Program Synthesis for Social Recommendations

Alvin Cheung, Armando Solar-Lezama외 1명|arXiv (Cornell University)|2012. 08. 14.

Machine Learning and Algorithms참고 문헌 21인용 수 13

한 줄 요약

이 논문은 개인화된 소셜 이벤트 추천을 위한 하이브리드 기계학습 및 프로그램 합성 접근법을 제안한다. 사용자 선호도는 인간이 읽을 수 있고 분해 가능한 논리 프로그램으로 학습된다. 지지 벡터 기반 기반 분류기(SVMs)를 사용해 초기 분류를 수행하고, 프로그램 합성 기법을 통해 이해하기 쉬우며 실행 가능한 모델을 생성함으로써, 학습 시간을 수개월 단위로 줄이고 예측 정확도를 향상시키며, 기기 수준의 데이터 수집을 효율적으로 구현한다.

ABSTRACT

This paper presents a new approach to select events of interest to a user in a social media setting where events are generated by the activities of the user's friends through their mobile devices. We argue that given the unique requirements of the social media setting, the problem is best viewed as an inductive learning problem, where the goal is to first generalize from the users' expressed "likes" and "dislikes" of specific events, then to produce a program that can be manipulated by the system and distributed to the collection devices to collect only data of interest. The key contribution of this paper is a new algorithm that combines existing machine learning techniques with new program synthesis technology to learn users' preferences. We show that when compared with the more standard approaches, our new algorithm provides up to order-of-magnitude reductions in model training time, and significantly higher prediction accuracies for our target application. The approach also improves on standard machine learning techniques in that it produces clear programs that can be manipulated to optimize data collection and filtering.

연구 동기 및 목표

• 모바일 환경에서 개인화된 소셜 이벤트 추천을 위한 해석 가능하고 분해 가능한 모델을 만드는 데 도전한다.
• 협업 필터링에서의 블랙박스 모델의 한계를 극복하기 위해 모델의 투명성과 사용자 피드백을 가능하게 한다.
• 사용자 선호도를 학습하고 관련 없는 이벤트를 걸러내어 모바일 데이터 수집에서 에너지 소비를 줄인다.
• 정보성 높은 이벤트를 선택해 레이블링하는 활성 학습 프레임워크를 설계하여, 낮은 데이터 환경에서 사용자 노력 최소화를 목표로 한다.
• 사용자 피드백에서 유추된 인간이 이해할 수 있고 실행 가능한 논리 프로그램을 생성해, 기기에서 런타임으로 배포할 수 있는 시스템을 개발한다.

제안 방법

• 사용자 선호도/비선호도를 이벤트 특성 기반으로 분류하기 위해 지지 벡터 기반 기반 분류기(SVMs)를 사용하여, 훈련 데이터 크기를 줄이기 위해 관련 없는 예제를 걸러낸다.
• SVM에서 식별한 핵심 특성과 레이블을 기반으로 프로그램 합성(스케치를 통해)을 적용해 인간이 읽을 수 있고 분해 가능한 논리 프로그램을 생성한다.
• 간단한 특성 조건(예: 위치 ≠ 2, 활동 = 1)의 부울 조합을 사용해 논리적 조건을 구성함으로써 기기 수준의 필터링을 가능하게 한다.
• 정보성 높은 이벤트를 선택해 사용자 피드백을 유도함으로써 활성 학습을 통합하여, 레이블링 오버헤드를 최소화한다.
• 원자적 조건으로 모델를 분해하여, 직접 기기에서 컴파일하고 실행할 수 있도록 함으로써 선택적 데이터 수집을 가능하게 한다.
• 앙상블 학습과 피드백 루프를 활용해 모델를 반복적으로 개선함으로써 정확도를 높이고 해석 가능성은 유지한다.

실험 결과

연구 질문

• RQ1 프로그램 합성 기법을 기계학습과 효과적으로 융합하여, 소셜 추천 시스템에 대해 해석 가능하고 분해 가능한 모델를 생성할 수 있는가?
• RQ2 표준 분류 기법과 비교했을 때, 하이브리드 SVM + 합성 접근법은 학습 시간과 예측 정확도 측면에서 어떤가?
• RQ3 SVM 기반 특성 선택을 통해 효과적인 모델 합성에 필요한 훈련 예제 수를 얼마나 줄일 수 있는가?
• RQ4 생성된 논리 프로그램은 기기에서 효율적으로 실행되어 선택적 데이터 수집과 에너지 절감을 가능하게 하는가?
• RQ5 실제 소셜 미디어 이벤트 스트림에서 흔히 발생하는 노이즈, 비대칭성, 개인화된 데이터 환경에서 이 시스템은 얼마나 잘 작동하는가?

주요 결과

• 하이브리드 접근법은 표준 기계학습 방법과 비교해 모델 학습 시간을 최대 한 단계 줄였다.
• 특히 낮은 데이터 환경에서 SVM 기반 효과적인 특성 선택 덕분에 기준 방법보다 예측 정확도가 뚜렷이 높았다.
• 최상의 경우, 원래 훈련 데이터의 5%만으로도 원래의 관심 함수와 완벽한 일치를 달성했다.
• 합성된 모델는 인간이 읽을 수 있고 논리적으로 분해 가능하므로, 사용자가 자신의 선호도를 이해하고 검증하며 조정할 수 있다.
• 실행 가능한 논리 프로그램을 생성함으로써 기기 수준의 효율적 데이터 수집이 가능해졌고, 관련 없는 이벤트를 걸러내어 에너지 소비를 줄였다.
• 시스템은 활성 학습을 지원하여 정보성 높은 이벤트를 선택해 피드백을 유도함으로써 사용자 레이블링 노력 최소화를 달성했다.