[논문 리뷰] Agent Behavior Prediction and Its Generalization Analysis

Fei Tian, Haifang Li외 4명|arXiv (Cornell University)|2014. 04. 19.

Complex Network Analysis Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 동적 시스템에서 에이전트 행동 예측(ABP)을 위한 새로운 일반화 분석 프레임워크를 제안한다. 무작위 환경에서의 마르코프 체인(MCRE)을 사용하여, MCRE를 고차원의 시간 동질 마르코프 체인으로 변환함으로써, 마르코프 매개변수와 함수 클래스의 커버링 수에 의존하는 일반화 경계를 도출한다. 이는 전략적 에이전트로부터 발생하는 비i.i.d. 행동 데이터에서 학습 알고리즘의 이론적 분석을 가능하게 한다.

ABSTRACT

Machine learning algorithms have been applied to predict agent behaviors in real-world dynamic systems, such as advertiser behaviors in sponsored search and worker behaviors in crowdsourcing. The behavior data in these systems are generated by live agents: once the systems change due to the adoption of the prediction models learnt from the behavior data, agents will observe and respond to these changes by changing their own behaviors accordingly. As a result, the behavior data will evolve and will not be identically and independently distributed, posing great challenges to the theoretical analysis on the machine learning algorithms for behavior prediction. To tackle this challenge, in this paper, we propose to use Markov Chain in Random Environments (MCRE) to describe the behavior data, and perform generalization analysis of the machine learning algorithms on its basis. Since the one-step transition probability matrix of MCRE depends on both previous states and the random environment, conventional techniques for generalization analysis cannot be directly applied. To address this issue, we propose a novel technique that transforms the original MCRE into a higher-dimensional time-homogeneous Markov chain. The new Markov chain involves more variables but is more regular, and thus easier to deal with. We prove the convergence of the new Markov chain when time approaches infinity. Then we prove a generalization bound for the machine learning algorithms on the behavior data generated by the new Markov chain, which depends on both the Markovian parameters and the covering number of the function class compounded by the loss function for behavior prediction and the behavior prediction model. To the best of our knowledge, this is the first work that performs the generalization analysis on data generated by complex processes in real-world dynamic systems.

연구 동기 및 목표

• 실제 동적 시스템에서 시스템 피드백에 따라 변화하는 행동 데이터의 비i.i.d. 성격에 대응하기 위한 도전에 대비하기 위해.
• 전략적이고 적응적인 에이전트가 포함된 시스템에서 기계학습 알고리즘의 일반화 분석을 위한 이론적 프레임워크를 개발하기 위해.
• 에이전트 행동 데이터를 과거 상태와 시스템 피드백에 의존하는 무작위 환경에서의 마르코프 체인(MCRE)으로 모델링하기 위해.
• MCRE에 의해 생성된 데이터 하에서 경험적 리스크 최소화(ERM) 알고리즘의 일반화 경계를 확립하기 위해.
• 스폰서드 서치, 크라우드소싱, 앱 스토어와 같은 상호작용 시스템에서 행동 예측 모델의 이론적 검증을 가능하게 하기 위해.

제안 방법

• 피드백과 연속된 행동 상태를 상태 공간에 포함시켜 원래의 MCRE를 고차원의 시간 동질 마르코프 체인으로 변환하기 위해.
• 과정의 시간 동질성과 분석의 정규성을 높이기 위해 새로운 상태 공간 $\mathbb{M} = \{(h_t, b_t, b_{t+1})\}$ 를 정의하기 위해.
• 일부 조건 하에서, 특히 $N_0$-단계 전이 행렬의 모든 원소가 양수일 경우, 변환된 마르코프 체인이 정적 분포로 수렴함을 증명하기 위해.
• 함수 클래스 $l \circ \mathcal{F}$ 의 커버링 수와 체인의 혼합 성질에 기반한 ERM 알고리즘의 일반화 경계를 유도하기 위해.
• 샘플 크기 파라미터 $m$ 을 최적화하고 경계를 강화하기 위해 대수적 혼합 조건 ($\beta(z,m) \leq \beta_0 m^{-\gamma}$) 을 사용하기 위해.
• 다중 클래스 분류 설정에 적용하기 위해, ABP 를 다항식으로 유계된 커버링 수를 가진 유한 행동 공간 분류 문제로 간주하기 위해.

실험 결과

연구 질문

• RQ1 시스템 피드백에 의해 변화하는 행동 데이터를 학습한 기계학습 모델에 대해 일반화 분석을 어떻게 수행할 수 있는가?
• RQ2 상호작용 시스템에서 전략적 에이전트가 생성하는 비i.i.d. 행동 데이터를 모델링할 수 있는 수학적 프레임워크는 무엇인가?
• RQ3 비동질적인 MCRE 를 시간 동질 마르코프 체인으로 변환할 수 있는가? 이를 통해 표준 일반화 기법을 적용할 수 있는가?
• RQ4 일반화 오차 경계가 마르코프 매개변수와 예측 함수 클래스의 복잡성에 어떻게 의존하는가?
• RQ5 데이터 과정의 혼합 조건을 어떻게 활용하여 일반화 경계를 최적화할 수 있는가?

주요 결과

• 저자들은 비동질적인 MCRE 를 고차원의 시간 동질 마르코프 체인으로 성공적으로 변환하여 학습 알고리즘의 이론적 분석을 가능하게 하였다.
• 모든 원소가 $N_0$-단계 전이 행렬에 양수일 경우, 변환된 마르코프 체인이 정적 분포로 수렴함을 증명하였다.
• 손실-조합 함수 클래스의 커버링 수와 과정의 혼합 속도에 따라 결정되는 일반화 경계를 도출하였다.
• 대수적 혼합 과정의 경우 최적의 $m$ 은 $O(T^{1/(1+s)})$ 이며, $0 < s < \gamma$ 를 만족하여 경계의 $T$ 에 대한 의존도를 최소화한다.
• 레귤러 함수 클래스, 즉 리프시츠 연속 손실과 유한 행동 공간 설정을 포함하여, 경계는 다항식으로 타이트하다.
• 본 연구는 전략적 에이전트가 포함된 복잡한 피드백 기반 동적 시스템에서 생성된 데이터에 대해 학습 알고리즘의 일반화 분석을 위한 첫 번째 이론적 분석을 제시한다.