[논문 리뷰] Balancing Accuracy and Fairness for Interactive Recommendation with Reinforcement Learning

Weiwen Liu, Feng Liu외 4명|arXiv (Cornell University)|2021. 06. 25.

Recommender Systems and Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 상호작용 추천 시스템(IRS)에서 정확도와 공정성을 동적으로 균형 잡는 강화학습 프레임워크인 FairRec을 제안한다. FairRec는 통합된 상태 표현에서 사용자 선호도와 시스템 수준의 공정성 상태를 함께 모델링함으로써, 전환율과 공정성의 이중 보상 함수를 최적화하여 추천 품질과 공정한 노출 간의 우수한 트레이드오프를 달성한다. MovieLens 및 Kiva 데이터셋에서 최신 기술들을 능가하는 성능을 보였다.

ABSTRACT

Fairness in recommendation has attracted increasing attention due to bias and discrimination possibly caused by traditional recommenders. In Interactive Recommender Systems (IRS), user preferences and the system's fairness status are constantly changing over time. Existing fairness-aware recommenders mainly consider fairness in static settings. Directly applying existing methods to IRS will result in poor recommendation. To resolve this problem, we propose a reinforcement learning based framework, FairRec, to dynamically maintain a long-term balance between accuracy and fairness in IRS. User preferences and the system's fairness status are jointly compressed into the state representation to generate recommendations. FairRec aims at maximizing our designed cumulative reward that combines accuracy and fairness. Extensive experiments validate that FairRec can improve fairness, while preserving good recommendation quality.

연구 동기 및 목표

• 사용자 선호도와 공정성 상태가 시간이 지남에 따라 변화하는 상호작용 추천 시스템(IRS)에서 정확도와 공정성을 균형 잡는 도전 과제를 해결하기 위해.
• 모든 시간 단계에서 공정성을 강제하는 정적 공정성 인식 방법의 한계를 극복하기 위해. 이러한 방법은 추천 품질을 떨어뜨릴 수 있다.
• 동적 의사결정을 위해 사용자 선호도 동적 변화와 시스템 수준의 공정성 상태를 함께 모델링하는 통합된 상태 표현을 설계하기 위해.
• 전환율과 공정성을 동시에 최적화하는 이중 보상 함수를 설계하여 장기적인 균형을 달성하기 위해.
• 실제 IRS 환경에서 프레임워크가 높은 추천 정확도를 유지하면서도 공정성 지표를 크게 향상시키는지 검증하기 위해.

제안 방법

• FairRec는 에이전트가 사용자 선호도 상태(UPS)와 공정성 상태(FS)를 통합한 상태 표현을 기반으로 아이템을 선택하는 강화학습 프레임워크를 사용한다.
• 사용자 선호도 상태(UPS)는 임베딩과 어텐션 메커니즘을 활용해 개인화된 선호도와 다양성 추구 행동을 캡처한다.
• 공정성 상태(FS)는 인구 집단별로 이력 노출 및 행동 분포를 추적하여 현재 시스템의 공정성 상태를 반영한다.
• 이중 누적 보상이 설계되었으며, 한 구성요소는 전환율(CVR)을 최대화하고, 다른 구성요소는 공정성 정규화 항을 통해 불공정성을 최소화한다.
• 딥 Q넷(DQN) 또는 정책 기반 강화학습 알고리즘을 사용해 사용자 피드백에 기반한 시간에 따라 최적의 추천 정책을 학습한다.
• 사용자 상호작용에 기반해 상태 표현을 점진적으로 갱신함으로써, 변화하는 선호도와 공정성 조건에 대한 온라인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 장기적인 상호작용 세션 동안 강화학습 프레임워크가 상호작용 추천 시스템에서 정확도와 공정성을 효과적으로 균형 잡을 수 있는가?
• RQ2 상태 표현에 사용자 선호도와 시스템 수준의 공정성을 함께 모델링할 경우, 별도로 모델링하는 것과 비교해 추천 성과가 어떻게 향상되는가?
• RQ3 전환율과 공정성 지표를 조합한 이중 보상 함수가 표준의 정확도 중심 또는 공정성 중심 목표에 비해 어느 정도 뛰어난 성능을 보이는가?
• RQ4 제안된 프레임워크는 다양한 인구 집단 간 불공정한 노출 배정을 크게 줄이면서도 높은 추천 품질을 유지하는가?
• RQ5 FairRec의 개별 구성요소—상태 표현, 보상 설계, 학습 알고리즘—중 각각이 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• FairRec는 MovieLens에서 전체 공정성 향상(UFG)이 6.6776, Kiva에서 2.8555로 가장 높게 기록되어 베이스라인을 크게 능가했다.
• 제거 실험에서 FairRec(reward-)는 공정성을 보상에 포함하지 않아 전환율(CVR)은 0.8561(<MovieLens>)을 기록했지만 공정성은 열악하여, 공정성 인식 보상 설계의 필요성을 확인했다.
• 간단한 상태 표현을 사용하는 FairRec(state-)는 전환율이 0.8194로 크게 감소하여 제안된 통합 상태 인코딩의 중요성을 입증했다.
• MovieLens에서 FairRec는 전환율 0.8702를 유지하면서도 공정성 점수(PropFair) 0.8666를 기록하여 정확도와 공정성 간 강력한 균형을 확보했다.
• Kiva 데이터셋에서는 FairRec가 전환율 0.6905와 PropFair 0.8838을 기록하여 실세계 마이크로라운딩 환경에서 뛰어난 성능을 보였다.
• 결과는 FairRec가 장기적 정책 학습을 통해 단기적 공정성 불균형을 효과적으로 보완함을 확인했으며, 모든 시점에서 공정성을 강제하는 방식의 단점을 피할 수 있음을 시사한다.