[논문 리뷰] Causal Feature Discovery through Strategic Modification.

Yahav Bechavod, Katrina Ligett외 2명|arXiv (Cornell University)|2020. 02. 17.

Machine Learning and Algorithms참고 문헌 17인용 수 18

한 줄 요약

이 논문은 온라인 회귀에서 에이전트가 점수를 향상시키기 위해 특징을 수정하는 전략적 학습 프레임워크를 제안한다. 간단한 주기적 최소제곱 회귀 업데이트를 통해 학습자는 예측 점수와 진짜 레이블 양쪽을 향상시키는 인과적 영향을 미치는 특징—즉, 진정으로 영향을 미치는 특징—를 식별할 수 있으며, 동시에 비인과적 특징이 아닌 의미 있는 특징에 투자하도록 에이전트를 유인한다.

ABSTRACT

We consider an online regression setting in which individuals adapt to the regression model: arriving individuals may access the model throughout the process, and invest strategically in modifying their own features so as to improve their assigned score. We find that this strategic manipulation may help a learner recover the causal variables, in settings where an agent can invest in improving impactful features that also improve his true label. We show that even simple behavior on the learner's part (i.e., periodically updating her model based on the observed data so far, via least-square regression) allows her to simultaneously i) accurately recover which features have an impact on an agent's true label, provided they have been invested in significantly, and ii) incentivize agents to invest in these impactful features, rather than in features that have no effect on their true label.

연구 동기 및 목표

• 에이전트가 할당된 점수를 향상시키기 위해 특징을 전략적으로 수정함에 따라 온라인 회귀에서 인과적으로 관련된 특징을 식별하는 데 도전하는 것.
• 전략적 에이전트 행동이 동적 학습 환경에서 인과적 특징 탐지에 활용될 수 있는지 조사하는 것.
• 진짜 인과적 특징을 동시에 복원하고, 에이전트가 그들의 진짜 레이블을 향상시키는 데 기여하는 특징에 투자하도록 유인하는 학습 알고리즘을 설계하는 것.
• 간단한 모델 업데이트(예: 최소제곱)가 전략적 에이전트 행동에도 불구하고 정확한 인과적 탐지로 이어지는 조건을 분석하는 것.

제안 방법

• 학습자는 관측된 데이터를 일반 최소제곱 회귀를 통해 주기적으로 업데이트하는 온라인 회귀 모델을 유지한다.
• 에이전트들이 순차적으로 도착하며 현재 모델을 관찰하고, 할당된 점수를 최대화하기 위해 전략적으로 특징을 수정한다.
• 에이전트들은 예측 점수와 진짜 레이블 양쪽을 향상시키는 특징에만 투자한다고 가정하여, 인centive가 인과적 영향과 일치하도록 한다.
• 학습자의 모델 업데이트 과정은 단순하고 적응 가능하도록 설계되어 있으며, 이는 과거 데이터와 최소제곱 추정에만 의존한다.
• 이 프레임워크는 진짜 레이블에 인과적 영향을 미치는 특징이 현재 모델 하에서 예측 점수를 향상시키는 특징과 일치한다고 가정한다.
• 이론적 분석은 이러한 조건 하에서 학습자의 모델이 진짜 레이블에 진정으로 인과적 영향을 미치는 특징을 식별하는 데 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 온라인 회귀에서 전략적 에이전트 행동을 활용하여 인과적 특징 탐지 성능을 향상시킬 수 있는가?
• RQ2 주기적 최소제곱 모델 업데이트가 인과적 영향을 미치는 특징을 정확히 식별하는 데 어떤 조건에서 성공하는가?
• RQ3 학습 과정이 진짜 레이블에 영향을 주는 특징에 투자하도록 에이전트를 유인하는가, 아니면 영향을 주지 않는 특징에 투자하도록 만드는가?
• RQ4 에이전트의 인센티브와 모델 업데이트 간의 상호작용이 올바른 인과적 특징으로의 수렴에 어떻게 영향을 주는가?

주요 결과

• 에이전트가 해당 특징에 상당한 투자를 하는 한, 학습자는 진짜 레이블에 인과적 영향을 미치는 특징을 정확히 식별할 수 있다.
• 간단한 주기적 최소제곱 업데이트를 사용하더라도, 에이전트가 예측 점수와 진짜 레이블 양쪽을 향상시키는 특징에 전략적으로 투자할 경우, 학습자는 올바른 인과적 특징 세트를 복원한다.
• 학습 과정은 진짜 인과적 효과가 있는 특징에 집중하도록 유도하는 인센티브 구조를 만들어내며, 모델의 예측에만 영향을 주고 진짜 레이블에 영향을 주지 않는 특징에 투자하는 것을 방지한다.
• 이 프레임워크는 에이전트의 투자가 진짜 레이블에 영향을 주는 특징과 일치할 경우, 모델이 기저의 인과적 구조와 일관성을 유지함을 보장한다.