[논문 리뷰] What are you optimizing for? Aligning Recommender Systems with Human Values

Jonathan Stray, Ivan Vendrov외 3명|arXiv (Cornell University)|2021. 07. 22.

Recommender Systems and Techniques참고 문헌 34인용 수 24

한 줄 요약

이 논문은 사례 연구를 통해 추천 시스템이 인간 가치에 어떻게 일치해 왔는지 검토하고, 현재 가치 공학(value engineering) 관행을 식별하며, 보다 참여적이고 견고한 가치 정렬을 달성하기 위한 네 가지 상위 수준 접근법을 제시한다.

ABSTRACT

We describe cases where real recommender systems were modified in the service of various human values such as diversity, fairness, well-being, time well spent, and factual accuracy. From this we identify the current practice of values engineering: the creation of classifiers from human-created data with value-based labels. This has worked in practice for a variety of issues, but problems are addressed one at a time, and users and other stakeholders have seldom been involved. Instead, we look to AI alignment work for approaches that could learn complex values directly from stakeholders, and identify four major directions: useful measures of alignment, participatory design and operation, interactive value learning, and informed deliberative judgments.

연구 동기 및 목표

• 추천 연구의 동기를 부여하기 위해 추천 목표가 맥락 의존적이고 가치가 내재되어 있음을 보여준다.
• 다양성, 공정성, 웰빙, 사실 정확성과 같은 가치를 반영하도록 실제 시스템이 수정된 사례 연구를 문서화한다.
• 현재 가치 정렬 관행의 한계를 식별하고 더 참여적이며 확장 가능한 접근 방식을 옹호한다.
• 추천 시스템에서 복잡한 인간 가치를 학습하고 인코딩하기 위해 AI 정렬에서 영감을 받은 상위 수준의 전략을 제안한다.

제안 방법

• 대형 추천 시스템의 사례 연구를 분석하여 세 단계 패턴을 식별한다: 콘텐츠 범주 식별, 라벨링 데이터를 통한 실행화, 추천의 조정.
• AI 정렬 문헌의 통찰을 종합하여 상위 계층 접근법을 제안한다: 유용한 정렬 지표, 참여적 설계, 대화형 가치 학습, 그리고 정보에 기반한 심의적 판단.
• 정렬 지표를 정의하고 논의하며, 반응적이고 하나씩의 수정보다 참여적이고 대화형 방법의 중요성을 강조한다.

실험 결과

연구 질문

• RQ1 인간 가치는 현재 추천 시스템에서 어떻게 식별되고 실행화되며 구현되는가?
• RQ2 AI 정렬으로부터의 어떤 상위 수준 접근법이 추천의 인간 가치 정렬을 개선할 수 있는가?
• RQ3 참여적 설계 및 대화형 가치 학습이 확장성 및 이해관계자 포괄성을 추천 정렬에 어떻게 대응할 수 있는가?

주요 결과

• 사례 연구는 공통 파이프라인을 보인다: 관련 콘텐츠 개념을 식별하고, 분류기나 지표를 통해 실행화하며, 그에 따라 추천을 조정한다.
• 클릭베이트, 독성, 허위정보 등과 같은 복잡한 개념을 다룰 때 수작업으로 설계된 지표는 인간 레이블로 학습된 분류기보다 종종 더 낮은 성과를 보인다.
• 현재의 관행은 반응적이고 확장성이 제한적이며, 종종 시스템 설계자의 가치를 더 넓은 이해관계자 입력보다 우선시한다.
• 개선의 네 가지 상위 방향은 유용한 정렬 지표, 참여적 설계와 운영, 대화형 가치 학습, 그리고 정보에 기반한 심의적 판단이다.
• 참여적 설계와 다중 이해관계자 접근법(예: 투표가 가능한 온라인 매칭)은 배분 결과와 인식된 공정성을 향상시킬 수 있다.
• 대화형, 회고적 및 심의적 평가(예: 후회 테스트)는 단기 최적화와 장기적인 웰빙의 균형을 돕는다.