[논문 리뷰] Maximum entropy for collaborative filtering

C. Lawrence Zitnick, Takeo Kanade|arXiv (Cornell University)|2004. 07. 07.

Data Stream Mining Techniques참고 문헌 20인용 수 50

한 줄 요약

이 논문은 협업 필터링에서 희소 데이터와 변수 조건부 조건을 다루기 위해 비표준 엔트로피 측정법을 사용하는 최대 엔트로피 접근법을 제안한다. 문제를 선형 방정식계로 재구성함으로써, 일관되지 않은 입력-출력 매핑과 고차 상호작용에 대한 제한된 지원에도 불구하고 조건부 확률을 효율적으로 계산할 수 있다.

ABSTRACT

Within the task of collaborative filtering two challenges for computing conditional probabilities exist. First, the amount of training data available is typically sparse with respect to the size of the domain. Thus, support for higher-order interactions is generally not present. Second, the variables that we are conditioning upon vary for each query. That is, users label different variables during each query. For this reason, there is no consistent input to output mapping. To address these problems we purpose a maximum entropy approach using a non-standard measure of entropy. This approach can be simplified to solving a set of linear equations that can be efficiently solved.

연구 동기 및 목표

• 고차 상호작용에 대한 지원이 부족한 희소한 훈련 데이터에서 발생하는 협업 필터링의 과제를 해결하기 위해.
• 다른 사용자가 서로 다른 특징을 요청함으로써 일관되지 않은 입력-출력 매핑이 발생하는 변수 조건부 조건을 다루기 위해.
• 이러한 제약 조건 하에서 조건부 확률을 계산하는 가용성 있고 효율적인 방법을 개발하기 위해.
• 협업 필터링 데이터의 비정규적 구조에 더 잘 부합하는 비표준 엔트로피 측정법을 제안하기 위해.

제안 방법

• 협업 필터링 데이터의 비정규적이고 희소한 성격에 맞게 조정된 비표준 엔트로피 측정법을 사용한다.
• 최대 엔트로피 문제를 효율적인 해법을 위한 선형 방정식계로 재구성한다.
• 관측된 데이터로부터 유도된 제약 조건 하에서 조건부 확률을 추정하기 위해 최대 엔트로피 원리를 적용한다.
• 각 사용자의 활성 특징을 고유한 제약 조합으로 간주함으로써, 각 쿼리당 다른 입력 특징을 처리한다.
• 관측된 동시 발생 통계를 만족하면서 엔트로피를 최대화하는 확률 분포를 구한다.
• 최적화의 이중성(duality)을 활용하여 엔트로피 최대화 문제를 해결 가능한 선형 시스템으로 변환한다.

실험 결과

연구 질문

• RQ1 훈련 데이터가 희소하고 고차 상호작용에 대한 지원이 제한된 상황에서, 협업 필터링에서 조건부 확률을 신뢰성 있게 추정하는 방법은 무엇인가?
• RQ2 사용자 쿼리의 변수 입력 구조를 가장 잘 수용할 수 있는 엔트로피 공식은 무엇인가?
• RQ3 최대 엔트로피 원리가 희소하고 고차원적인 협업 필터링 환경에서 과적합을 방지하는 데 어떻게 적응될 수 있는가?
• RQ4 실제 구현을 위해 엔트로피 최대화의 계산 복잡도를 어떻게 줄일 수 있는가?

주요 결과

• 제안된 방법은 최대 엔트로피 문제를 선형 방정식계로 변환하여 효율적이고 확장 가능한 추론을 가능하게 한다.
• 비표준 엔트로피 측정법은 협업 필터링에서 흔한 희소성과 변수 입력 구조를 효과적으로 처리한다.
• 관측된 데이터와 일치하는 가장 균일한 분포를 선호함으로써 과적합을 방지한다.
• 고차 상호작용이 데이터로 지원되지 않는 경우에도 안정적인 확률 추정치를 도출한다.
• 해결 가능한 계산 복잡도를 가지므로 실시간 또는 대규모 추천 시스템에 적합하다.
• 프레임워크는 쿼리 간에 일관된 특징 세트가 필요 없이 부분적인 사용자 피드백을 통합할 수 있는 원리적인 방법을 제공한다.