[논문 리뷰] Rewarding High-Quality Data via Influence Functions

Adam Richardson, Aris Filos-Ratsikas외 1명|arXiv (Cornell University)|2019. 08. 30.

Auction Theory and Applications참고 문헌 22인용 수 14

한 줄 요약

이 논문은 연합 학습에서 데이터 포인트의 영향력에 기반해 에이전트를 보상하는 인centив 메커니즘을 제안하며, 모델 손실에 대한 영향력을 기반으로 진정성 있고 고급 품질의 데이터 보고를 게임 이론적 균형으로 보장한다. 효율적인 영향력 근사치와 순차적 배치 처리를 통해 확장 가능하고 조기 보상이 가능한 구조를 구현하였으며, 실제 데이터셋에서 이론적 및 실험적 검증을 수행하였다.

ABSTRACT

We consider a crowdsourcing data acquisition scenario, such as federated learning, where a Center collects data points from a set of rational Agents, with the aim of training a model. For linear regression models, we show how a payment structure can be designed to incentivize the agents to provide high-quality data as early as possible, based on a characterization of the influence that data points have on the loss function of the model. Our contributions can be summarized as follows: (a) we prove theoretically that this scheme ensures truthful data reporting as a game-theoretic equilibrium and further demonstrate its robustness against mixtures of truthful and heuristic data reports, (b) we design a procedure according to which the influence computation can be efficiently approximated and processed sequentially in batches over time, (c) we develop a theory that allows correcting the difference between the influence and the overall change in loss and (d) we evaluate our approach on real datasets, confirming our theoretical findings.

연구 동기 및 목표

• 선형 회귀 모델에서 데이터 포인트의 영향력을 기반으로 에이전트를 보상하는 인센티브 체계를 설계한다.
• 에이전트가 히우리스틱 또는 거짓 보고 전략을 사용할 경우에도 진정성 있는 데이터 보고가 게임 이론적 균형이 되도록 보장한다.
• 실시간 배포를 위해 데이터 배치에 대해 순차적이고 효율적인 영향력 계산을 가능하게 한다.
• 영향력 근사치와 모델 성능에서의 실제 손실 변화 사이의 괴리(이격)를 보정한다.
• 다양한 조건에서 실제 UCI 데이터셋을 대상으로 메커니즘을 실험적으로 검증한다.

제안 방법

• 모델의 손실을 줄이는 데 기여하는 데이터 포인트의 기여도를 정량화하기 위해 영향 함수를 사용한다.
• 첫 번째 차수 방법보다 정확도가 향상된 두 번째 차수 근사를 통해 훈련 포인트의 가중치를 조정한다.
• 데이터를 순차적 배치로 처리하며, 각 배치에 대해 M-Inclusive(현재 배치 포함) 및 M-Exclusive(현재 배치 제외) 훈련 방식을 사용해 보상을 계산한다.
• 기존 데이터가 없는 경우를 대비해 균일한 랜덤 샘플로 모델을 초기화하여 영향력 계산을 초기 단계부터 일관되게 유지한다.
• 초기 데이터 포인트가 손실 변화에 미치는 영향을 분석적으로 모델링하여 영향력 근사치의 편향을 보정한다.
• 진정성 있는 보고와 히우리스틱 보고가 혼합된 상황에서 인센티브를 평가하기 위해 경험 위험과 손실 도함수를 활용한 혼합 모델 프레임워크를 도입한다.

실험 결과

연구 질문

• RQ1 영향 기반 보상이 커뮤니티 기반 선형 회귀 환경에서 진정성 있는 데이터 보고를 내쉬 균형으로 이끌 수 있는가?
• RQ2 순차적 데이터 수확을 위해 영향력을 효율적으로 근사하고 배치 단위로 계산할 수 있는가?
• RQ3 초기 데이터 포인트가 영향력 추정과 보상 공정성에 어떤 영향을 미치는가?
• RQ4 일부 에이전트가 진정성 있는 보고 대신 히우리스틱 방식으로 보고할 경우 인센티브 메커니즘이 얼마나 견고한가?
• RQ5 영향력 근사치가 실제 모델 손실 변화를 얼마나 정확하게 반영하는가?

주요 결과

• 정확한 모델의 내재 오차가 히우리스틱 모델보다 낮을 경우, 소수의 에이전트가 히우리스틱 전략을 사용하더라도 진정성 있는 보고가 게임 이론적 균형이 되도록 보장한다.
• 두 번째 차수 영향력 근사는 첫 번째 차수 방법에 비해 모든 테스트 데이터셋에서 절대 오차 및 상대 절대 오차 측면에서 뚜렷한 성능 향상을 보였다.
• 진정성 있는 보고가 유인되는 조건은 진정성 보고 비율 p와 모델의 상대 오차 R2,2 및 R1,1에 따라 결정되며, p > 1/2 + (R2,2 - R1,1)/(2r) 일 때 진정성 보고가 유인된다.
• M-Inclusive 및 M-Exclusive 보상 체계는 이론적·실험적 일치를 보이며, 다양한 배치 크기와 초기 데이터 포인트 조건에서도 안정적인 보상 비율을 유지한다.
• 테스트 세트가 에이전트의 보고로부터 구성되더라도 메커니즘이 견고하게 유지되며, 혼합 보고 전략 상황에서도 진정성 보고를 위한 인센티브를 유지한다.
• 실제 다섯 개의 데이터셋(Red Wine, White Wine, Air Quality, Communities and Crime, Parkinsons)에 대한 실험 결과는 이론적 예측과 영향력 근사 정확도를 확인하였다.